Testen mit Workflows

CodeCatalystIn können Sie Tests als Teil verschiedener Workflow-Aktionen wie Build und Test ausführen. Diese Workflow-Aktionen können alle Qualitätsberichte generieren. Eine Testaktion ist eine Workflow-Aktion, mit der Berichte zu Tests, zur Codeabdeckung, zur Softwarezusammensetzung und zu statischen Analysen erstellt werden. Diese Berichte werden in der CodeCatalyst Konsole angezeigt.

Themen

• Typen von Qualitätsberichten

• Testaktion hinzufügen

• Ergebnisse einer Testaktion anzeigen

• Fehlgeschlagene Tests in einer Aktion überspringen

• Integrieren mit universal-test-runner

• Qualitätsberichte in einer Aktion konfigurieren

• Bewährte Methoden zum Testen

• Unterstützte SARIF-Eigenschaften

Typen von Qualitätsberichten

Die CodeCatalyst Amazon-Testaktion unterstützt die folgenden Arten von Qualitätsberichten. Ein Beispiel zur Formatierung dieser Berichte in Ihrem YAML finden Sie unterYAML-Beispiel für Qualitätsberichte.

Testberichte

In CodeCatalyst können Sie Komponententests, Integrationstests und Systemtests konfigurieren, die während Builds ausgeführt werden. Anschließend CodeCatalyst können Sie Berichte erstellen, die die Ergebnisse Ihrer Tests enthalten.

Sie können einen Testbericht verwenden, um Probleme mit Ihren Tests zu beheben. Wenn Sie über viele Testberichte von mehreren Builds verfügen, können Sie anhand Ihrer Testberichte die Fehlerraten anzeigen und so Ihre Builds optimieren.

Sie können die folgenden Dateiformate für Testberichte verwenden:

• Gurke JSON (.json)

• JUnit XML (.xml)

• NUnit XML (.xml)

• NUnit3 XML (.xml)

• TestNG XML (.xml)

• Visual Studio TRX (.trx, .xml)

Code-Abdeckungsberichte

CodeCatalystIn können Sie Berichte zur Codeabdeckung für Ihre Tests erstellen. CodeCatalyst bietet die folgenden Kennzahlen zur Codeabdeckung:

Zeilenabdeckung

Misst, wie viele Aussagen Ihre Tests abdecken. Eine Aussage ist eine einzelne Anweisung, ohne Kommentare.

line coverage = (total lines covered)/(total number of lines)

Verzweigungsabdeckung

Misst, wie viele Zweige Ihre Tests von allen möglichen Zweigen einer Kontrollstruktur, wie z. B. einer case ODER-Anweisung, abdecken. if

branch coverage = (total branches covered)/(total number of branches)

Für Code-Abdeckungsberichte werden die folgenden Dateiformate unterstützt:

• JaCoCo XML (.xml)

• SimpleCov JSON (generiert von simplecov, nicht simplecov-json, .json)

• Clover XML (Version 3, .xml)

• XML-Cover (.xml)

• LCOV (.info)

Berichte zur Analyse der Softwarezusammensetzung

In CodeCatalyst können Sie Tools zur Software Composition Analysis (SCA) verwenden, um Komponenten Ihrer Anwendung zu analysieren und nach bekannten Sicherheitslücken zu suchen. Sie können SARIF-Berichte entdecken und analysieren, in denen Sicherheitslücken mit unterschiedlichem Schweregrad und Möglichkeiten zu ihrer Behebung detailliert beschrieben werden. Gültige Schweregradwerte, vom höchsten bis zum geringsten Schweregrad, sind:CRITICAL,,,HIGH,MEDIUM. LOW INFORMATIONAL

Die folgenden Dateiformate für SCA-Berichte werden unterstützt:

• SARIF (.sarif, .json)

Statische Analyseberichte

Sie können statische Analyseberichte (SA) verwenden, um Codefehler auf Quelltextebene zu identifizieren. In können Sie SA-Berichte generieren CodeCatalyst, um Probleme in Ihrem Code zu beheben, bevor Sie ihn bereitstellen. Zu diesen Problemen gehören Bugs, Sicherheitslücken, Qualitätsprobleme und andere Sicherheitslücken. Gültige Schweregradwerte, vom höchsten bis zum niedrigsten SchweregradCRITICAL, sind: HIGHMEDIUM,LOW,, undINFORMATIONAL.

CodeCatalyst bietet die folgenden SA-Metriken:

Bugs

Identifiziert eine Reihe möglicher Fehler in Ihrem Quellcode. Zu diesen Fehlern können Probleme im Zusammenhang mit der Speichersicherheit gehören. Das Folgende ist ein Beispiel für einen Fehler.

// The while loop will inadvertently index into array x out-of-bounds
int x[64];
while (int n = 0; n <= 64; n++) {
  x[n] = 0;
}

Sicherheitslücken

Identifiziert eine Reihe möglicher Sicherheitslücken in Ihrem Quellcode. Zu diesen Sicherheitslücken können Probleme wie das Speichern Ihrer geheimen Token im Klartext gehören.

Probleme mit der Qualität

Identifiziert eine Reihe möglicher Qualitätsprobleme in Ihrem Quellcode. Zu diesen Qualitätsproblemen können auch Probleme im Zusammenhang mit Stilkonventionen gehören. Im Folgenden finden Sie ein Beispiel für ein Qualitätsproblem.

// The function name doesn't adhere to the style convention of camelCase
int SUBTRACT(int x, int y) {
  return x-y
}

Andere Sicherheitslücken

Identifiziert eine Reihe möglicher anderer Sicherheitslücken, die in Ihrem Quellcode gefunden wurden.

CodeCatalyst unterstützt die folgenden SA-Berichtsdateiformate:

• PyLint (.py)

• ESLint (.js, .jsx, .ts, .tsx)

• SARIF (.sarif, .json)