Configurazione dei report sulla qualità in un'azione

Questa sezione descrive come configurare un rapporto sulla qualità in un'azione.

Rilevamento automatico e report manuali

Quando l'individuazione automatica è abilitata, CodeCatalyst cerca tutti gli input passati all'azione e tutti i file generati dall'azione stessa, cercando report di test, copertura del codice, analisi della composizione del software (SCA) e analisi statica (SA). È possibile visualizzare e manipolare ciascuno di questi report in. CodeCatalyst

È inoltre possibile configurare manualmente i report da generare. Puoi specificare il tipo di rapporto che desideri generare e il formato del file. Per ulteriori informazioni, consulta Tipi di report sulla qualità.

Configurazione dei criteri di successo per i report

È possibile impostare i valori che determinano i criteri di successo per un rapporto di test, copertura del codice, analisi della composizione del software (SCA) o analisi statica (SA).

I criteri di successo sono soglie che determinano l'esito positivo o negativo di un report. CodeCatalyst genera innanzitutto il rapporto, che può essere un test, un rapporto sulla copertura del codice o un rapporto SA, quindi applica i criteri di successo ai report generati. SCA Quindi mostra se i criteri di successo sono stati soddisfatti e in che misura. Se un rapporto non soddisfa i criteri di successo specificati, l' CodeCatalyst azione che ha specificato i criteri di successo ha esito negativo.

Ad esempio, quando si impostano i criteri di successo per la SCA segnalazione, i valori di vulnerabilità validi, che vanno dal più grave al meno grave, sono:CRITICAL,HIGH,, MEDIUMLOW,INFORMATIONAL. Se si impostano i criteri per la scansione di una vulnerabilità per livello di HIGH gravità, il rapporto avrà esito negativo se è presente almeno una vulnerabilità con HIGH gravità o nessuna vulnerabilità con HIGH gravità, ma almeno una vulnerabilità con un livello di gravità più elevato, ad esempio una vulnerabilità per gravità. CRITICAL

Se non si specificano criteri di successo, allora:

• Il CodeCatalyst rapporto generato in base ai report non elaborati non mostrerà criteri di successo.

• I criteri di successo non verranno utilizzati per determinare se l'azione del flusso di lavoro associata ha esito positivo o negativo.

Visual

Per configurare i criteri di successo

1. Nel riquadro di navigazione, scegli CI/CD, quindi scegli Flussi di lavoro.

2. Scegli un flusso di lavoro contenente un'azione che generi un report. Questo è il rapporto per il quale desideri applicare i criteri di successo. È possibile filtrare in base al nome del repository o del ramo di origine in cui è definito il flusso di lavoro oppure filtrare in base al nome o allo stato del flusso di lavoro.

3. Scegli Modifica.

4. Scegli Visual.

5. Nel diagramma del flusso di lavoro, scegli l'azione che hai configurato per generare CodeCatalyst report.

6. Seleziona la scheda Outputs (Output).

7. In Individuazione automatica dei report o in Configura manualmente i report, scegli Criteri di successo.

   Vengono visualizzati i criteri di successo. A seconda delle selezioni precedenti, è possibile visualizzare alcune o tutte le seguenti opzioni:

   Frequenza di superamento

   Specificare la percentuale di test in un rapporto di prova che deve essere superato affinché il CodeCatalyst rapporto associato venga contrassegnato come superato. I valori validi includono i numeri decimali. Ad esempio, 50, 60.5. I criteri relativi alla percentuale di superamento vengono applicati solo ai rapporti di prova. Per ulteriori informazioni sui rapporti di prova, vedereRapporti dei test.

   Copertura della linea

   Specificate la percentuale di righe in un rapporto sulla copertura del codice che devono essere coperte affinché il CodeCatalyst rapporto associato venga contrassegnato come superato. I valori validi includono i numeri decimali. Ad esempio, 50, 60.5. I criteri di copertura delle linee vengono applicati solo ai report sulla copertura del codice. Per ulteriori informazioni sui rapporti sulla copertura del codice, vedereRapporti sulla copertura del codice.

   Copertura delle filiali

   Specificate la percentuale di filiali in un rapporto sulla copertura del codice che deve essere coperta affinché il CodeCatalyst rapporto associato venga contrassegnato come approvato. I valori validi includono i numeri decimali. Ad esempio, 50, 60.5. I criteri di copertura delle filiali vengono applicati solo ai report sulla copertura del codice. Per ulteriori informazioni sui rapporti sulla copertura del codice, vedereRapporti sulla copertura del codice.

   Vulnerabilità () SCA

   Specificare il numero e la gravità massimi di vulnerabilità consentiti nel SCA rapporto affinché il CodeCatalyst rapporto associato venga contrassegnato come superato. Per specificare le vulnerabilità, è necessario specificare:

   • La gravità minima delle vulnerabilità da includere nel conteggio. I valori validi, dal più grave al meno grave, sono:CRITICAL,HIGH,, MEDIUMLOW,INFORMATIONAL.

     Ad esempio, se si sceglieHIGH, verranno HIGH CRITICAL conteggiate tutte le vulnerabilità.

   • Il numero massimo di vulnerabilità della gravità specificata che desideri consentire. Il superamento di questo numero fa sì che il CodeCatalyst rapporto venga contrassegnato come fallito. I valori validi sono numeri interi.

   I criteri di vulnerabilità vengono applicati solo ai SCA report. Per ulteriori informazioni sui SCA report, vedereRapporti di analisi della composizione del software.

   Bug

   Specificate il numero e la gravità massimi di bug consentiti nel rapporto SA affinché il CodeCatalyst rapporto associato venga contrassegnato come superato. Per specificare i bug, è necessario specificare:

   • La gravità minima dei bug da includere nel conteggio. I valori validi, dal più grave al meno grave, sono:CRITICAL,HIGH,, MEDIUMLOW,INFORMATIONAL.

     Ad esempio, se scegliHIGH, allora HIGH i CRITICAL bug verranno conteggiati.

   • Il numero massimo di bug della gravità specificata che desideri consentire. Il superamento di questo numero fa sì che il CodeCatalyst rapporto venga contrassegnato come fallito. I valori validi sono numeri interi.

   I criteri relativi ai bug vengono applicati solo PyLint ai report ESLint SA. Per ulteriori informazioni sui report SA, vedereRapporti di analisi statica.

   Vulnerabilità di sicurezza

   Specificare il numero e la gravità massimi di vulnerabilità di sicurezza consentite nel rapporto SA affinché il CodeCatalyst rapporto associato venga contrassegnato come superato. Per specificare le vulnerabilità di sicurezza, è necessario specificare:

   • La gravità minima delle vulnerabilità di sicurezza da includere nel conteggio. I valori validi, dal più grave al meno grave, sono:CRITICAL,HIGH,, MEDIUMLOW,INFORMATIONAL.

     Ad esempio, se lo desideriHIGH, verranno HIGH conteggiate le vulnerabilità di CRITICAL sicurezza.

   • Il numero massimo di vulnerabilità di sicurezza della gravità specificata che desideri consentire. Il superamento di questo numero fa sì che il CodeCatalyst rapporto venga contrassegnato come fallito. I valori validi sono numeri interi.

   I criteri di vulnerabilità di sicurezza vengono applicati solo ai report PyLint e ESLint SA. Per ulteriori informazioni sui report SA, vedereRapporti di analisi statica.

   Problemi di qualità

   Specificare il numero e la gravità massimi dei problemi di qualità consentiti nel rapporto SA affinché il CodeCatalyst rapporto associato venga contrassegnato come superato. Per specificare i problemi di qualità, è necessario specificare:

   • La gravità minima dei problemi di qualità da includere nel conteggio. I valori validi, dal più grave al meno grave, sono: CRITICALHIGH,,MEDIUM,LOW,INFORMATIONAL.

     Ad esempio, se si sceglieHIGH, verranno presi HIGH in CRITICAL considerazione i problemi di qualità.

   • Il numero massimo di problemi di qualità della gravità specificata che si desidera consentire. Il superamento di questo numero fa sì che il CodeCatalyst rapporto venga contrassegnato come fallito. I valori validi sono numeri interi.

   I criteri relativi ai problemi di qualità vengono applicati solo PyLint ai report ESLint SA. Per ulteriori informazioni sui report SA, vedereRapporti di analisi statica.

8. Scegli Applica.

9. Esegui il flusso di lavoro per CodeCatalyst applicare criteri di successo ai report non elaborati e rigenera i CodeCatalyst report associati includendo le informazioni sui criteri di successo. Per ulteriori informazioni, consulta Avvio di un flusso di lavoro eseguito manualmente.

YAML

Per configurare i criteri di successo

1. Nel riquadro di navigazione, scegli CI/CD, quindi scegli Flussi di lavoro.

2. Scegli un flusso di lavoro contenente un'azione che generi un report. Questo è il rapporto per il quale desideri applicare i criteri di successo. È possibile filtrare in base al nome del repository o del ramo di origine in cui è definito il flusso di lavoro oppure filtrare in base al nome o allo stato del flusso di lavoro.

3. Scegli Modifica.

4. Scegli YAML.

5. Nel diagramma del flusso di lavoro, scegli l'azione che hai configurato per generare CodeCatalyst report.

6. Nel riquadro dei dettagli, scegli la scheda Output.

7. Nell'azione, nella AutoDiscoverReports sezione o nella Reports sezione, aggiungi una SuccessCriteriaproprietà, insieme aPassRate,LineCoverage,BranchCoverage, Vulnerabilities StaticAnalysisBugStaticAnalysisSecurity, e StaticAnalysisQuality proprietà.

   Per una spiegazione di ciascuna di queste proprietà, consulta ilAzioni di creazione e test YAML.

8. Scegli Applica.

9. Esegui il flusso di lavoro per CodeCatalyst applicare criteri di successo ai report non elaborati e rigenera i CodeCatalyst report associati includendo le informazioni sui criteri di successo. Per ulteriori informazioni sull'avvio di un flusso di lavoro, consultaAvvio di un flusso di lavoro eseguito manualmente.

YAMLEsempio di report sulla qualità

L'esempio seguente mostra come configurare manualmente quattro report: un rapporto di test, un rapporto sulla copertura del codice, un rapporto di analisi della composizione del software e un rapporto di analisi statico.

Reports:
  MyTestReport:
    Format: JUNITXML
    IncludePaths:
      - "*.xml"
    ExcludePaths:
      - report1.xml
      SuccessCriteria:
        PassRate: 90
  MyCoverageReport:
    Format: CLOVERXML
    IncludePaths:
      - output/coverage/jest/clover.xml
      SuccessCriteria:
        LineCoverage: 75
        BranchCoverage: 75
  MySCAReport:
    Format: SARIFSCA
    IncludePaths:
      - output/sca/reports.xml
      SuccessCriteria:
        Vulnerabilities:
          Number: 5
          Severity: HIGH
  MySAReport:
    Format: ESLINTJSON
    IncludePaths:
      - output/static/eslint.xml
      SuccessCriteria:
        StaticAnalysisBug:
          Number: 10
          Severity: MEDIUM
        StaticAnalysisSecurity:
          Number: 5
          Severity: CRITICAL
        StaticAnalysisQuality:
          Number: 0
          Severity: INFORMATIONAL