Configuration des rapports de qualité dans une action

Cette section décrit comment configurer un rapport de qualité dans le cadre d'une action.

Découverte automatique et rapports manuels

Lorsque la découverte automatique est activée, CodeCatalyst recherche toutes les entrées transmises à l'action et tous les fichiers générés par l'action elle-même, à la recherche de rapports de test, de couverture de code, d'analyse de la composition logicielle (SCA) et d'analyse statique (SA). Vous pouvez consulter et manipuler chacun de ces rapports dans CodeCatalyst.

Vous pouvez également configurer manuellement les rapports qui sont générés. Vous pouvez spécifier le type de rapport que vous souhaitez générer ainsi que le format de fichier. Pour de plus amples informations, veuillez consulter Types de rapports sur la qualité.

Configuration des critères de réussite pour les rapports

Vous pouvez définir les valeurs qui déterminent les critères de réussite d'un test, d'un rapport de couverture du code, d'analyse de la composition logicielle (SCA) ou d'un rapport d'analyse statique (SA).

Les critères de réussite sont des seuils qui déterminent si un rapport est réussi ou non. CodeCatalyst génère d'abord votre rapport, qui peut être un rapport de testSCA, de couverture de code ou un rapport SA, puis applique les critères de réussite aux rapports générés. Il indique ensuite si les critères de réussite ont été remplis, et dans quelle mesure. Si un rapport ne répond pas aux critères de succès spécifiés, l' CodeCatalyst action qui a spécifié les critères de réussite échoue.

Par exemple, lorsque vous définissez les critères de réussite de votre SCA rapport, les valeurs de vulnérabilité valides, allant de la plus grave à la moins grave, sont les suivantes : CRITICAL HIGHMEDIUM,,LOW,INFORMATIONAL. Si vous définissez les critères d'analyse d'une vulnérabilité en termes de HIGH gravité, le rapport échouera s'il existe au moins une vulnérabilité grave ou aucune vulnérabilité grave, mais au moins une vulnérabilité de niveau de gravité supérieur, telle qu'une vulnérabilité de CRITICAL gravité supérieure. HIGH HIGH

Si vous ne spécifiez aucun critère de réussite, alors :

• Le CodeCatalyst rapport généré sur la base de vos rapports bruts n'affichera aucun critère de réussite.

• Les critères de réussite ne seront pas utilisés pour déterminer si l'action de flux de travail associée est réussie ou échoue.

Visual

Pour configurer les critères de réussite

1. Dans le volet de navigation, choisissez CI/CD, puis Workflows.

2. Choisissez un flux de travail contenant une action qui génère un rapport. Il s'agit du rapport pour lequel vous souhaitez appliquer des critères de réussite. Vous pouvez filtrer en fonction du référentiel source ou du nom de branche dans lequel le flux de travail est défini, ou filtrer en fonction du nom ou du statut du flux de travail.

3. Choisissez Modifier.

4. Choisissez Visual.

5. Dans le diagramme du flux de travail, choisissez l'action que vous avez configurée pour générer des CodeCatalyst rapports.

6. Choisissez l'onglet Outputs.

7. Sous Rapports de découverte automatique ou sous Configuration manuelle des rapports, sélectionnez Critères de réussite.

   Les critères de réussite apparaissent. En fonction de vos sélections précédentes, vous pouvez voir l'une ou l'ensemble des options suivantes :

   Taux de réussite

   Spécifiez le pourcentage de tests dans un rapport de test qui doivent être réussis pour que le CodeCatalyst rapport associé soit marqué comme réussi. Les valeurs valides incluent les nombres décimaux. Par exemple, 50, 60.5. Les critères relatifs au taux de réussite ne sont appliqués qu'aux rapports de test. Pour plus d'informations sur les rapports de test, consultezRapports d'essais.

   Couverture de la ligne

   Spécifiez le pourcentage de lignes d'un rapport de couverture de code qui doivent être couvertes pour que le CodeCatalyst rapport associé soit marqué comme transmis. Les valeurs valides incluent les nombres décimaux. Par exemple, 50, 60.5. Les critères de couverture de ligne sont appliqués uniquement aux rapports de couverture de code. Pour plus d'informations sur les rapports de couverture du code, consultezRapports sur la couverture du code.

   Couverture des succursales

   Spécifiez le pourcentage de branches dans un rapport de couverture de code qui doivent être couvertes pour que le CodeCatalyst rapport associé soit marqué comme transmis. Les valeurs valides incluent les nombres décimaux. Par exemple, 50, 60.5. Les critères de couverture des succursales sont appliqués uniquement aux rapports de couverture par code. Pour plus d'informations sur les rapports de couverture du code, consultezRapports sur la couverture du code.

   Vulnérabilités (SCA)

   Spécifiez le nombre maximum et la gravité des vulnérabilités autorisées dans le SCA rapport pour que le CodeCatalyst rapport associé soit marqué comme transmis. Pour définir les vulnérabilités, vous devez spécifier :

   • La gravité minimale des vulnérabilités que vous souhaitez inclure dans le décompte. Les valeurs valides, de la plus sévère à la moins sévère, sont les suivantes : CRITICALHIGH,MEDIUM,LOW,,INFORMATIONAL.

     Par exemple, si vous le souhaitezHIGH, HIGH les CRITICAL vulnérabilités seront comptabilisées.

   • Le nombre maximum de vulnérabilités de la gravité spécifiée que vous souhaitez autoriser. Le dépassement de ce nombre entraîne le marquage CodeCatalyst du rapport comme ayant échoué. Les valeurs valides sont des nombres entiers.

   Les critères de vulnérabilité ne sont appliqués qu'aux SCA rapports. Pour plus d'informations sur SCA les rapports, consultezRapports d'analyse de la composition des logiciels.

   Insectes

   Spécifiez le nombre maximum et la gravité des bogues autorisés dans le rapport SA pour que le CodeCatalyst rapport associé soit marqué comme passé. Pour spécifier les bogues, vous devez spécifier :

   • La gravité minimale des bogues que vous souhaitez inclure dans le décompte. Les valeurs valides, de la plus sévère à la moins sévère, sont les suivantes : CRITICALHIGH,MEDIUM,LOW,,INFORMATIONAL.

     Par exemple, si vous le souhaitezHIGH, HIGH les CRITICAL bogues seront comptabilisés.

   • Le nombre maximum de bogues de la gravité spécifiée que vous souhaitez autoriser. Le dépassement de ce nombre entraîne le marquage CodeCatalyst du rapport comme ayant échoué. Les valeurs valides sont des nombres entiers.

   Les critères relatifs aux bogues s'appliquent uniquement aux rapports PyLint et ESLint SA. Pour plus d'informations sur les rapports SA, consultezRapports d'analyse statiques.

   Failles de sécurité

   Spécifiez le nombre maximum et la gravité des vulnérabilités de sécurité autorisées dans le rapport SA pour que le CodeCatalyst rapport associé soit marqué comme transmis. Pour définir les failles de sécurité, vous devez spécifier :

   • La gravité minimale des failles de sécurité que vous souhaitez inclure dans le décompte. Les valeurs valides, de la plus sévère à la moins sévère, sont les suivantes : CRITICALHIGH,MEDIUM,LOW,,INFORMATIONAL.

     Par exemple, si vous le souhaitezHIGH, HIGH les failles CRITICAL de sécurité seront prises en compte.

   • Le nombre maximum de failles de sécurité de la gravité spécifiée que vous souhaitez autoriser. Le dépassement de ce nombre entraîne le marquage CodeCatalyst du rapport comme ayant échoué. Les valeurs valides sont des nombres entiers.

   Les critères relatifs aux vulnérabilités de sécurité s'appliquent uniquement PyLint aux rapports ESLint SA. Pour plus d'informations sur les rapports SA, consultezRapports d'analyse statiques.

   Problèmes de qualité

   Spécifiez le nombre maximum et la gravité des problèmes de qualité autorisés dans le rapport SA pour que le CodeCatalyst rapport associé soit marqué comme réussi. Pour définir les problèmes de qualité, vous devez spécifier :

   • La gravité minimale des problèmes de qualité que vous souhaitez inclure dans le décompte. Les valeurs valides, de la plus sévère à la moins sévère, sont les suivantes : CRITICALHIGH,MEDIUM,LOW,,INFORMATIONAL.

     Par exemple, si vous le souhaitezHIGH, HIGH les problèmes CRITICAL de qualité seront pris en compte.

   • Le nombre maximum de problèmes de qualité de la gravité spécifiée que vous souhaitez autoriser. Le dépassement de ce nombre entraîne le marquage CodeCatalyst du rapport comme ayant échoué. Les valeurs valides sont des nombres entiers.

   Les critères relatifs aux problèmes de qualité ne s'appliquent qu' PyLint aux rapports ESLint SA. Pour plus d'informations sur les rapports SA, consultezRapports d'analyse statiques.

8. Choisissez Commit (Valider).

9. Exécutez votre flux de travail pour CodeCatalyst appliquer des critères de réussite à vos rapports bruts, et régénérez les CodeCatalyst rapports associés en incluant les informations sur les critères de réussite. Pour de plus amples informations, veuillez consulter Démarrer un flux de travail exécuté manuellement.

YAML

Pour configurer les critères de réussite

1. Dans le volet de navigation, choisissez CI/CD, puis Workflows.

2. Choisissez un flux de travail contenant une action qui génère un rapport. Il s'agit du rapport pour lequel vous souhaitez appliquer des critères de réussite. Vous pouvez filtrer en fonction du référentiel source ou du nom de branche dans lequel le flux de travail est défini, ou filtrer en fonction du nom ou du statut du flux de travail.

3. Choisissez Modifier.

4. Choisissez YAML.

5. Dans le diagramme du flux de travail, choisissez l'action que vous avez configurée pour générer des CodeCatalyst rapports.

6. Dans le volet de détails, choisissez l'onglet Sorties.

7. Dans l'action, dans AutoDiscoverReports la section ou dans la Reports section, ajoutez une SuccessCriteriapropriété, ainsi quePassRate,LineCoverage,BranchCoverage,Vulnerabilities, StaticAnalysisBugStaticAnalysisSecurity, et StaticAnalysisQuality des propriétés.

   Pour une explication de chacune de ces propriétés, consultez leCréez et testez des actions YAML.

8. Choisissez Commit (Valider).

9. Exécutez votre flux de travail pour CodeCatalyst appliquer des critères de réussite à vos rapports bruts, et régénérez les CodeCatalyst rapports associés avec les informations sur les critères de succès incluses. Pour plus d'informations sur le démarrage d'un flux de travail, consultezDémarrer un flux de travail exécuté manuellement.

YAMLExemple de rapports de qualité

L'exemple suivant montre comment configurer manuellement quatre rapports : un rapport de test, un rapport de couverture du code, un rapport d'analyse de la composition logicielle et un rapport d'analyse statique.

Reports:
  MyTestReport:
    Format: JUNITXML
    IncludePaths:
      - "*.xml"
    ExcludePaths:
      - report1.xml
      SuccessCriteria:
        PassRate: 90
  MyCoverageReport:
    Format: CLOVERXML
    IncludePaths:
      - output/coverage/jest/clover.xml
      SuccessCriteria:
        LineCoverage: 75
        BranchCoverage: 75
  MySCAReport:
    Format: SARIFSCA
    IncludePaths:
      - output/sca/reports.xml
      SuccessCriteria:
        Vulnerabilities:
          Number: 5
          Severity: HIGH
  MySAReport:
    Format: ESLINTJSON
    IncludePaths:
      - output/static/eslint.xml
      SuccessCriteria:
        StaticAnalysisBug:
          Number: 10
          Severity: MEDIUM
        StaticAnalysisSecurity:
          Number: 5
          Severity: CRITICAL
        StaticAnalysisQuality:
          Number: 0
          Severity: INFORMATIONAL