Testen mit Workflows

CodeCatalystIn können Sie Tests als Teil verschiedener Workflow-Aktionen wie Build und Test ausführen. Diese Workflow-Aktionen können alle Qualitätsberichte generieren. Eine Testaktion ist eine Workflow-Aktion, mit der Berichte zu Tests, zur Codeabdeckung, zur Softwarezusammensetzung und zu statischen Analysen erstellt werden. Diese Berichte werden in der CodeCatalyst Konsole angezeigt.

Themen

• Typen von Qualitätsberichten
• Testaktion hinzufügen
• Ergebnisse einer Testaktion anzeigen
• Fehlgeschlagene Tests in einer Aktion überspringen
• Integrieren mit universal-test-runner
• Konfiguration von Qualitätsberichten in einer Aktion
• Bewährte Methoden zum Testen
• Unterstützte SARIF Eigenschaften

Typen von Qualitätsberichten

Die CodeCatalyst Amazon-Testaktion unterstützt die folgenden Arten von Qualitätsberichten. Ein Beispiel zur Formatierung dieser Berichte in Ihrem YAML finden Sie unterYAMLBeispiel für Qualitätsberichte.

Testberichte

In CodeCatalyst können Sie Komponententests, Integrationstests und Systemtests konfigurieren, die während Builds ausgeführt werden. Anschließend CodeCatalyst können Sie Berichte erstellen, die die Ergebnisse Ihrer Tests enthalten.

Sie können einen Testbericht verwenden, um Probleme mit Ihren Tests zu beheben. Wenn Sie über viele Testberichte von mehreren Builds verfügen, können Sie anhand Ihrer Testberichte die Fehlerraten anzeigen und so Ihre Builds optimieren.

Sie können die folgenden Dateiformate für Testberichte verwenden:

• Gurke JSON (.json)

• JUnitXML(.xml)

• NUnitXML(.xml)

• NUnit3XML(.xml)

• TestNG XML (.xml)

• Visual Studio TRX (.trx, .xml)

Berichte zur Codeabdeckung

CodeCatalystIn können Sie Berichte zur Codeabdeckung für Ihre Tests erstellen. CodeCatalyst bietet die folgenden Kennzahlen zur Codeabdeckung:

Leitungsabdeckung

Misst, wie viele Aussagen Ihre Tests abdecken. Eine Aussage ist eine einzelne Anweisung ohne Kommentare.

line coverage = (total lines covered)/(total number of lines)

Abdeckung der Filialen

Misst, wie viele Zweige Ihre Tests von allen möglichen Zweigen einer Kontrollstruktur, wie z. B. einer if case Oder-Anweisung, abdecken.

branch coverage = (total branches covered)/(total number of branches)

Die folgenden Dateiformate für Berichte zur Codeabdeckung werden unterstützt:

• JaCoCo XML(.xml)

• SimpleCov JSON(generiert von simplecov, nicht simplecov-json, .json)

• XMLKlee (Version 3, .xml)

• Cover (.xmlXML)

• LCOV(.info)

Berichte zur Analyse der Softwarezusammensetzung

In CodeCatalyst können Sie Tools zur Analyse der Softwarezusammensetzung (SCA) verwenden, um Komponenten Ihrer Anwendung zu analysieren und nach bekannten Sicherheitslücken zu suchen. Sie können SARIF Berichte entdecken und analysieren, in denen Sicherheitslücken mit unterschiedlichem Schweregrad und Möglichkeiten zu ihrer Behebung detailliert beschrieben werden. Gültige Schweregrade (vom höchsten bis zum niedrigsten Schweregrad) sind:CRITICAL,,HIGH,MEDIUM,LOW. INFORMATIONAL

Die folgenden SCA Berichtsdateiformate werden unterstützt:

• SARIF(.sarif, .json)

Statische Analyseberichte

Sie können statische Analyseberichte (SA) verwenden, um Codefehler auf Quelltextebene zu identifizieren. In können Sie SA-Berichte generieren CodeCatalyst, um Probleme in Ihrem Code zu beheben, bevor Sie ihn bereitstellen. Zu diesen Problemen gehören Bugs, Sicherheitslücken, Qualitätsprobleme und andere Sicherheitslücken. Gültige Schweregradwerte, vom höchsten bis zum niedrigsten SchweregradCRITICAL, sind: HIGHMEDIUM,LOW,, undINFORMATIONAL.

CodeCatalyst bietet die folgenden SA-Metriken:

Bugs

Identifiziert eine Reihe möglicher Fehler in Ihrem Quellcode. Diese Fehler können Probleme mit der Speichersicherheit beinhalten. Das Folgende ist ein Beispiel für einen Fehler.

// The while loop will inadvertently index into array x out-of-bounds
int x[64];
while (int n = 0; n <= 64; n++) {
  x[n] = 0;
}

Sicherheitslücken

Identifiziert eine Reihe möglicher Sicherheitslücken in Ihrem Quellcode. Zu diesen Sicherheitslücken können Probleme wie das Speichern Ihrer geheimen Token im Klartext gehören.

Probleme mit der Qualität

Identifiziert eine Reihe möglicher Qualitätsprobleme in Ihrem Quellcode. Zu diesen Qualitätsproblemen können auch Probleme im Zusammenhang mit Stilkonventionen gehören. Im Folgenden finden Sie ein Beispiel für ein Qualitätsproblem.

// The function name doesn't adhere to the style convention of camelCase
int SUBTRACT(int x, int y) {
  return x-y
}

Andere Sicherheitslücken

Identifiziert eine Reihe möglicher anderer Sicherheitslücken in Ihrem Quellcode.

CodeCatalyst unterstützt die folgenden SA-Berichtsdateiformate:

• PyLint (.py)

• ESLint(.js, .jsx, .ts, .tsx)

• SARIF(.sarif, .json)