Configuración de informes de calidad en una acción

En esta sección se describe cómo configurar un informe de calidad en una acción.

Informes manuales y de descubrimiento automático

Cuando la detección automática está habilitada, CodeCatalyst busca en todas las entradas transferidas a la acción y en todos los archivos generados por la propia acción, buscando informes de pruebas, cobertura de código, análisis de composición de software (SCA) y análisis estático (SA). Puede ver y manipular cada uno de estos informes en. CodeCatalyst

También puede configurar manualmente los informes que se generan. Puede especificar el tipo de informe que desea generar, así como el formato de archivo. Para obtener más información, consulte Tipos de informes de calidad.

Configurar los criterios de éxito de los informes

Puede establecer los valores que determinan los criterios de éxito de un informe de prueba, cobertura de código, análisis de composición de software (SCA) o análisis estático (SA).

Los criterios de éxito son umbrales que determinan si un informe se aprueba o no. CodeCatalyst primero genera el informe, que puede ser un informe de prueba, de cobertura de código, de SCA o SA, y, a continuación, aplica los criterios de éxito a los informes generados. A continuación, muestra si se cumplieron los criterios de éxito y en qué medida. Si algún informe no cumple los criterios de éxito especificados, se produce un error en la CodeCatalyst acción que los especificó.

Por ejemplo, al establecer los criterios de éxito del informe de la SCA, los valores de vulnerabilidad válidos, que van del más al menos grave, son:CRITICAL,,HIGH, MEDIUMLOW,INFORMATIONAL. Si establece los criterios para buscar una vulnerabilidad en cuanto a su HIGH gravedad, el informe fallará si hay al menos una vulnerabilidad de HIGH gravedad o no hay ninguna vulnerabilidad de HIGH gravedad, pero al menos una vulnerabilidad con un nivel de gravedad superior, como una vulnerabilidad de CRITICAL gravedad superior.

Si no especifica los criterios de conformidad, haga lo siguiente:

• El CodeCatalyst informe que se genere a partir de sus informes sin procesar no mostrará los criterios de éxito.

• Los criterios de éxito no se utilizarán para determinar si la acción del flujo de trabajo asociada se aprueba o no.

Visual

Para configurar los criterios de éxito

1. En el panel de navegación, elija CI/CD y, a continuación, elija Flujos de trabajo.

2. Elija un flujo de trabajo que contenga una acción que genere un informe. Este es el informe al que desea aplicar los criterios de conformidad. Puede filtrar por el nombre del repositorio o la rama de origen donde está definido el flujo de trabajo, o bien filtrar por el nombre del flujo de trabajo.

3. Elija Editar.

4. Elija Visual.

5. En el diagrama de flujo de trabajo, elija la acción que ha configurado para generar CodeCatalyst informes.

6. Elija la pestaña Salidas.

7. En Detección automática de informes o en Configuración manual de informes, seleccione Criterios de éxito.

   Aparecen los criterios de éxito. En función de las selecciones anteriores, es posible que veas alguna de estas opciones o todas ellas:

   Tasa de aprobación

   Especifique el porcentaje de pruebas en un informe de prueba que deben aprobarse para que el CodeCatalyst informe asociado se marque como aprobado. Los valores válidos incluyen números decimales. Por ejemplo: 50, 60.5. Los criterios de porcentaje de aprobados se aplican únicamente a los informes de las pruebas. Para obtener más información sobre los informes de las pruebas, consulteInformes de pruebas.

   Cobertura de línea

   Especifique el porcentaje de líneas de un informe de cobertura de código que deben cubrirse para que el CodeCatalyst informe asociado se marque como aprobado. Los valores válidos incluyen los números decimales. Por ejemplo: 50, 60.5. Los criterios de cobertura de línea se aplican únicamente a los informes de cobertura de código. Para obtener más información sobre los informes de cobertura de código, consulteInformes de cobertura de código.

   Cobertura de sucursales

   Especifique el porcentaje de sucursales en un informe de cobertura de código que deben cubrirse para que el CodeCatalyst informe asociado se marque como aprobado. Los valores válidos incluyen números decimales. Por ejemplo: 50, 60.5. Los criterios de cobertura de las sucursales se aplican únicamente a los informes de cobertura de códigos. Para obtener más información sobre los informes de cobertura de código, consulteInformes de cobertura de código.

   Vulnerabilidades (SCA)

   Especifique el número máximo y la gravedad de las vulnerabilidades permitidas en el informe de la SCA para que el CodeCatalyst informe asociado se marque como aprobado. Para especificar las vulnerabilidades, debe especificar:

   • La gravedad mínima de las vulnerabilidades que desea incluir en el recuento. Los valores válidos, del más grave al menos grave, son:CRITICAL,HIGH,MEDIUM,LOW,INFORMATIONAL.

     Por ejemplo, si lo eligeHIGH, se HIGH contabilizarán CRITICAL las vulnerabilidades.

   • El número máximo de vulnerabilidades de la gravedad especificada que desea permitir. Si se supera este número, el CodeCatalyst informe se marca como fallido. Los valores válidos son números enteros.

   Los criterios de vulnerabilidad se aplican únicamente a los informes de la SCA. Para obtener más información sobre los informes de la SCA, consulte. Informes de análisis de composición de software

   Errores

   Especifique el número máximo y la gravedad de los errores permitidos en el informe de la SA para que el CodeCatalyst informe asociado se marque como aprobado. Para especificar los errores, debe especificar:

   • La gravedad mínima de los errores que quieres incluir en el recuento. Los valores válidos, del más grave al menos grave, son:CRITICAL,HIGH,MEDIUM,LOW,INFORMATIONAL.

     Por ejemplo, si lo eligesHIGH, se HIGH contabilizarán CRITICAL los errores.

   • El número máximo de errores de la gravedad especificada que deseas permitir. Si se supera este número, el CodeCatalyst informe se marca como fallido. Los valores válidos son números enteros.

   Los criterios de errores se aplican únicamente a PyLint los informes de ESLint SA. Para obtener más información sobre los informes de SA, consulte. Informes de análisis estáticos

   Vulnerabilidades de

   Especifique el número máximo y la gravedad de las vulnerabilidades de seguridad permitidas en el informe de la SA para que el CodeCatalyst informe asociado se marque como aprobado. Para especificar las vulnerabilidades de seguridad, debe especificar:

   • La gravedad mínima de las vulnerabilidades de seguridad que desea incluir en el recuento. Los valores válidos, del más grave al menos grave, son:CRITICAL,HIGH,MEDIUM,LOW,INFORMATIONAL.

     Por ejemplo, si lo deseaHIGH, se HIGH contabilizarán las vulnerabilidades de CRITICAL seguridad.

   • El número máximo de vulnerabilidades de seguridad de la gravedad especificada que desea permitir. Si se supera este número, el CodeCatalyst informe se marca como fallido. Los valores válidos son números enteros.

   Los criterios de vulnerabilidad de seguridad se aplican únicamente a PyLint los informes de ESLint SA. Para obtener más información sobre los informes de SA, consulte. Informes de análisis estáticos

   Problemas de calidad

   Especifique el número máximo y la gravedad de los problemas de calidad permitidos en el informe de la SA para que el CodeCatalyst informe asociado se marque como aprobado. Para especificar los problemas de calidad, debe especificar:

   • La gravedad mínima de los problemas de calidad que desea incluir en el recuento. Los valores válidos, del más grave al menos grave, son:CRITICAL,HIGH,MEDIUM,LOW,INFORMATIONAL.

     Por ejemplo, si lo deseaHIGH, se HIGH contabilizarán los problemas de CRITICAL calidad.

   • El número máximo de problemas de calidad de la gravedad especificada que desee permitir. Si se supera este número, el CodeCatalyst informe se marca como fallido. Los valores válidos son números enteros.

   Los criterios de calidad solo se aplican a los informes PyLint de ESLint SA. Para obtener más información sobre los informes de SA, consulte. Informes de análisis estáticos

8. Elija Commit (Confirmar).

9. Ejecute su flujo de trabajo para CodeCatalyst aplicar los criterios de éxito a sus informes sin procesar y regenere los CodeCatalyst informes asociados con la información sobre los criterios de éxito incluida. Para obtener más información, consulte Iniciar un flujo de trabajo: ejecutar manualmente.

YAML

Para configurar los criterios de éxito

1. En el panel de navegación, elija CI/CD y, a continuación, elija Flujos de trabajo.

2. Elija un flujo de trabajo que contenga una acción que genere un informe. Este es el informe al que desea aplicar los criterios de conformidad. Puede filtrar por el nombre del repositorio o la rama de origen donde está definido el flujo de trabajo, o bien filtrar por el nombre del flujo de trabajo.

3. Elija Editar.

4. Elige YAML.

5. En el diagrama de flujo de trabajo, elija la acción que ha configurado para generar CodeCatalyst informes.

6. En el panel de detalles, seleccione la pestaña Salidas.

7. En la acción, en la AutoDiscoverReports sección o en la Reports sección, añada una SuccessCriteriapropiedad junto con PassRate LineCoverageBranchCoverage,Vulnerabilities,StaticAnalysisBug,StaticAnalysisSecurity, y StaticAnalysisQuality propiedades.

   Para obtener una explicación de cada una de estas propiedades, consulte laDefinición de YAML de acciones de compilación y prueba.

8. Elija Commit (Confirmar).

9. Ejecute su flujo de trabajo para CodeCatalyst aplicar los criterios de éxito a sus informes sin procesar y regenere los CodeCatalyst informes asociados con la información sobre los criterios de éxito incluida. Para obtener más información sobre cómo iniciar un flujo de trabajo, consulteIniciar un flujo de trabajo: ejecutar manualmente.

Ejemplo de Quality Reports (YAML)

El siguiente ejemplo muestra cómo configurar manualmente cuatro informes: un informe de prueba, un informe de cobertura de código, un informe de análisis de composición de software y un informe de análisis estático.

Reports:
  MyTestReport:
    Format: JUNITXML
    IncludePaths:
      - "*.xml"
    ExcludePaths:
      - report1.xml
      SuccessCriteria:
        PassRate: 90
  MyCoverageReport:
    Format: CLOVERXML
    IncludePaths:
      - output/coverage/jest/clover.xml
      SuccessCriteria:
        LineCoverage: 75
        BranchCoverage: 75
  MySCAReport:
    Format: SARIFSCA
    IncludePaths:
      - output/sca/reports.xml
      SuccessCriteria:
        Vulnerabilities:
          Number: 5
          Severity: HIGH
  MySAReport:
    Format: ESLINTJSON
    IncludePaths:
      - output/static/eslint.xml
      SuccessCriteria:
        StaticAnalysisBug:
          Number: 10
          Severity: MEDIUM
        StaticAnalysisSecurity:
          Number: 5
          Severity: CRITICAL
        StaticAnalysisQuality:
          Number: 0
          Severity: INFORMATIONAL