Tests avec des flux de travail

Dans CodeCatalyst, vous pouvez exécuter des tests dans le cadre de différentes actions de flux de travail, telles que la création et le test. Ces actions de flux de travail peuvent toutes générer des rapports de qualité. Une action de test est une action de flux de travail qui produit des rapports de test, de couverture de code, d'analyse de la composition logicielle et d'analyse statique. Ces rapports sont affichés dans la CodeCatalyst console.

Rubriques

• Types de rapports sur la qualité
• Ajouter l'action de test
• Afficher les résultats d'une action de test
• Ignorer les tests ayant échoué dans une action
• Intégration avec universal-test-runner
• Configuration des rapports de qualité dans une action
• Bonnes pratiques en matière de tests
• SARIFPropriétés prises en charge

Types de rapports sur la qualité

L'action de CodeCatalyst test Amazon prend en charge les types de rapports de qualité suivants. Pour un exemple de mise en forme de ces rapports dans votreYAML, voirYAMLExemple de rapports de qualité.

Rapports d'essais

Dans CodeCatalyst, vous pouvez configurer des tests unitaires, des tests d'intégration et des tests système exécutés pendant les builds. CodeCatalyst Vous pouvez ensuite créer des rapports contenant les résultats de vos tests.

Vous pouvez utiliser un rapport de test pour résoudre les problèmes liés à vos tests. Si vous disposez de nombreux rapports de test provenant de plusieurs versions, vous pouvez utiliser vos rapports de test pour afficher les taux d'échec afin de vous aider à optimiser vos versions.

Vous pouvez utiliser les formats de fichier de rapport de test suivants :

• Concombre JSON (.json)

• JUnitXML(.xml)

• NUnitXML(.xml)

• NUnit3XML(.xml)

• TestNG XML (.xml)

• Visual Studio TRX (.trx, .xml)

Rapports sur la couverture du code

Dans CodeCatalyst, vous pouvez générer des rapports de couverture de code pour vos tests. CodeCatalyst fournit les mesures de couverture du code suivantes :

Couverture de la ligne

Mesure le nombre de déclarations couvertes par vos tests. Une instruction est une instruction unique, sans les commentaires.

line coverage = (total lines covered)/(total number of lines)

Couverture des succursales

Mesure le nombre de branches couvertes par vos tests parmi toutes les branches possibles d'une structure de contrôle, telle qu'une case instruction if or.

branch coverage = (total branches covered)/(total number of branches)

Les formats de fichier de rapport de couverture de code suivants sont pris en charge :

• JaCoCo XML(.xml)

• SimpleCov JSON(généré par simplecov, pas par simplecov-json, .json)

• Trèfle XML (version 3, .xml)

• Couverture (.xmlXML)

• LCOV(.info)

Rapports d'analyse de la composition des logiciels

Dans CodeCatalyst, vous pouvez utiliser les outils d'analyse de la composition logicielle (SCA) pour analyser les composants de votre application et vérifier les vulnérabilités de sécurité connues. Vous pouvez découvrir et analyser SARIF des rapports qui détaillent les vulnérabilités de gravité variable et les moyens de les corriger. Les valeurs de gravité valides, de la plus sévère à la moins sévère, sont les suivantes : CRITICALHIGH,MEDIUM,LOW,,INFORMATIONAL.

Les formats de fichier de SCA rapport suivants sont pris en charge :

• SARIF(.sarif, .json)

Rapports d'analyse statiques

Vous pouvez utiliser des rapports d'analyse statique (SA) pour identifier les défauts du code au niveau de la source. Dans CodeCatalyst, vous pouvez générer des rapports SA pour aider à résoudre les problèmes liés à votre code avant de le déployer. Ces problèmes incluent des bogues, des failles de sécurité, des problèmes de qualité et d'autres vulnérabilités. Les valeurs de gravité valides, de la plus sévère à la moins sévère, sont les suivantes : CRITICAL HIGHMEDIUM,LOW,, etINFORMATIONAL.

CodeCatalyst fournit les métriques SA suivantes :

Insectes

Identifie un certain nombre de bogues potentiels trouvés dans votre code source. Ces bogues peuvent inclure des problèmes liés à la sécurité de la mémoire. Voici un exemple de bogue.

// The while loop will inadvertently index into array x out-of-bounds
int x[64];
while (int n = 0; n <= 64; n++) {
  x[n] = 0;
}

Failles de sécurité

Identifie un certain nombre de failles de sécurité possibles détectées dans votre code source. Ces failles de sécurité peuvent inclure des problèmes tels que le stockage de vos jetons secrets en texte clair.

Problèmes de qualité

Identifie un certain nombre de problèmes de qualité potentiels trouvés dans votre code source. Ces problèmes de qualité peuvent inclure des problèmes liés aux conventions de style. Voici un exemple de problème de qualité.

// The function name doesn't adhere to the style convention of camelCase
int SUBTRACT(int x, int y) {
  return x-y
}

Autres vulnérabilités

Identifie un certain nombre d'autres vulnérabilités possibles détectées dans votre code source.

CodeCatalyst prend en charge les formats de fichier de rapport SA suivants :

• PyLint (.py)

• ESLint(.js, .jsx, .ts, .tsx)

• SARIF(.sarif, .json)