Mengkonfigurasi laporan kualitas dalam suatu tindakan

Bagian ini menjelaskan cara mengonfigurasi laporan kualitas dalam suatu tindakan.

Penemuan otomatis dan laporan manual

Ketika penemuan otomatis diaktifkan, CodeCatalyst mencari semua input yang diteruskan ke tindakan, dan semua file yang dihasilkan oleh tindakan itu sendiri, mencari pengujian, cakupan kode, analisis komposisi perangkat lunak (SCA), dan laporan analisis statis (SA). Anda dapat melihat dan memanipulasi masing-masing laporan ini di CodeCatalyst.

Anda juga dapat mengonfigurasi laporan mana yang dihasilkan secara manual. Anda dapat menentukan jenis laporan yang ingin Anda hasilkan serta format file. Untuk informasi selengkapnya, lihat Jenis laporan kualitas.

Mengkonfigurasi kriteria keberhasilan untuk laporan

Anda dapat mengatur nilai yang menentukan kriteria keberhasilan untuk pengujian, cakupan kode, analisis komposisi perangkat lunak (SCA), atau laporan analisis statis (SA).

Kriteria keberhasilan adalah ambang batas yang menentukan apakah laporan lolos atau gagal. CodeCatalyst pertama menghasilkan laporan Anda, yang dapat berupa pengujian, cakupan kode, SCA, atau laporan SA, dan kemudian menerapkan kriteria keberhasilan pada laporan yang dihasilkan. Ini kemudian menunjukkan apakah kriteria keberhasilan terpenuhi, dan sejauh mana. Jika ada laporan yang tidak memenuhi kriteria keberhasilan yang ditentukan, CodeCatalyst tindakan yang menentukan kriteria keberhasilan gagal.

Misalnya, ketika Anda menetapkan kriteria keberhasilan untuk laporan SCA Anda, nilai kerentanan yang valid mulai dari yang paling parah hingga yang paling tidak parah adalah:CRITICAL,,, HIGHMEDIUM,LOW. INFORMATIONAL Jika Anda menetapkan kriteria untuk memindai satu kerentanan pada HIGH tingkat keparahan, laporan akan gagal jika ada setidaknya satu kerentanan pada HIGH tingkat keparahan atau tidak ada kerentanan pada tingkat HIGH keparahan, tetapi setidaknya satu kerentanan pada tingkat keparahan yang lebih tinggi, seperti satu kerentanan pada tingkat keparahan. CRITICAL

Jika Anda tidak menentukan kriteria keberhasilan, maka:

• CodeCatalyst Laporan yang dihasilkan berdasarkan laporan mentah Anda tidak akan menampilkan kriteria keberhasilan.

• Kriteria keberhasilan tidak akan digunakan untuk menentukan apakah tindakan alur kerja terkait lolos atau gagal.

Visual

Untuk mengkonfigurasi kriteria keberhasilan

1. Di panel navigasi, pilih CI/CD, lalu pilih Alur kerja.

2. Pilih alur kerja yang berisi tindakan yang menghasilkan laporan. Ini adalah laporan yang ingin Anda terapkan kriteria keberhasilannya. Anda dapat memfilter berdasarkan repositori sumber atau nama cabang tempat alur kerja ditentukan, atau memfilter berdasarkan nama alur kerja.

3. Pilih Edit.

4. Pilih Visual.

5. Dalam diagram alur kerja, pilih tindakan yang telah Anda konfigurasikan untuk menghasilkan CodeCatalyst laporan.

6. Pilih tab Output.

7. Di bawah Auto-temukan laporan atau di bawah Konfigurasi laporan secara manual, pilih Kriteria sukses.

   Kriteria keberhasilan muncul. Bergantung pada pilihan Anda sebelumnya, Anda mungkin melihat salah satu atau semua opsi ini:

   Tingkat kelulusan

   Tentukan persentase pengujian dalam laporan pengujian yang harus lulus agar CodeCatalyst laporan terkait ditandai sebagai lulus. Nilai yang valid termasuk angka desimal. Misalnya:50,60.5. Kriteria tingkat kelulusan hanya diterapkan pada laporan pengujian. Untuk informasi selengkapnya tentang laporan pengujian, lihatLaporan pengujian.

   Cakupan garis

   Tentukan persentase baris dalam laporan cakupan kode yang harus dicakup agar CodeCatalyst laporan terkait ditandai sebagai lulus. Nilai yang valid termasuk angka desimal. Misalnya:50,60.5. Kriteria cakupan baris hanya diterapkan pada laporan cakupan kode. Untuk informasi selengkapnya tentang laporan cakupan kode, lihatLaporan cakupan kode.

   Cakupan cabang

   Tentukan persentase cabang dalam laporan cakupan kode yang harus dicakup agar CodeCatalyst laporan terkait ditandai sebagai lulus. Nilai yang valid termasuk angka desimal. Misalnya:50,60.5. Kriteria cakupan cabang hanya diterapkan pada laporan cakupan kode. Untuk informasi selengkapnya tentang laporan cakupan kode, lihatLaporan cakupan kode.

   Kerentanan (SCA)

   Tentukan jumlah maksimum dan tingkat keparahan kerentanan yang diizinkan dalam laporan SCA agar CodeCatalyst laporan terkait ditandai sebagai lulus. Untuk menentukan kerentanan, Anda harus menentukan:

   • Tingkat keparahan minimum kerentanan yang ingin Anda sertakan dalam hitungan. Nilai yang valid, dari yang paling parah hingga yang paling parah, adalah: CRITICALHIGH,MEDIUM,,LOW,INFORMATIONAL.

     Misalnya, jika Anda memilihHIGH, maka HIGH dan CRITICAL kerentanan akan dihitung.

   • Jumlah maksimum kerentanan dari tingkat keparahan yang ditentukan yang Anda inginkan memungkinkan. Melebihi angka ini menyebabkan CodeCatalyst laporan ditandai sebagai gagal. Nilai yang valid adalah bilangan bulat.

   Kriteria kerentanan hanya diterapkan pada laporan SCA. Untuk informasi lebih lanjut tentang laporan SCA, lihatLaporan analisis komposisi perangkat lunak.

   Bug

   Tentukan jumlah maksimum dan tingkat keparahan bug yang diizinkan dalam laporan SA agar CodeCatalyst laporan terkait ditandai sebagai lulus. Untuk menentukan bug, Anda harus menentukan:

   • Tingkat keparahan minimum bug yang ingin Anda sertakan dalam hitungan. Nilai yang valid, dari yang paling parah hingga yang paling parah, adalah: CRITICALHIGH,MEDIUM,,LOW,INFORMATIONAL.

     Misalnya, jika Anda memilihHIGH, maka HIGH dan CRITICAL bug akan dihitung.

   • Jumlah maksimum bug dari tingkat keparahan yang ditentukan yang Anda inginkan izin. Melebihi angka ini menyebabkan CodeCatalyst laporan ditandai sebagai gagal. Nilai yang valid adalah bilangan bulat.

   Kriteria bug hanya diterapkan pada PyLint laporan ESLint SA. Untuk informasi lebih lanjut tentang laporan SA, lihatLaporan analisis statis.

   Kerentanan keamanan

   Tentukan jumlah maksimum dan tingkat keparahan kerentanan keamanan yang diizinkan dalam laporan SA agar CodeCatalyst laporan terkait ditandai sebagai lulus. Untuk menentukan kerentanan keamanan, Anda harus menentukan:

   • Tingkat keparahan minimum kerentanan keamanan yang ingin Anda sertakan dalam hitungan. Nilai yang valid, dari yang paling parah hingga yang paling parah, adalah: CRITICALHIGH,MEDIUM,,LOW,INFORMATIONAL.

     Misalnya, jika Anda memilihHIGH, maka HIGH dan kerentanan CRITICAL keamanan akan dihitung.

   • Jumlah maksimum kerentanan keamanan dari tingkat keparahan tertentu yang Anda inginkan memungkinkan. Melebihi angka ini menyebabkan CodeCatalyst laporan ditandai sebagai gagal. Nilai yang valid adalah bilangan bulat.

   Kriteria kerentanan keamanan hanya diterapkan PyLint pada laporan ESLint SA. Untuk informasi lebih lanjut tentang laporan SA, lihatLaporan analisis statis.

   Masalah kualitas

   Tentukan jumlah maksimum dan tingkat keparahan masalah kualitas yang diizinkan dalam laporan SA agar CodeCatalyst laporan terkait ditandai sebagai lulus. Untuk menentukan masalah kualitas, Anda harus menentukan:

   • Tingkat keparahan minimum dari masalah kualitas yang ingin Anda sertakan dalam hitungan. Nilai yang valid, dari yang paling parah hingga yang paling parah, adalah: CRITICALHIGH,MEDIUM,,LOW,INFORMATIONAL.

     Misalnya, jika Anda memilihHIGH, maka HIGH dan masalah CRITICAL kualitas akan dihitung.

   • Jumlah maksimum masalah kualitas dari tingkat keparahan yang ditentukan yang Anda inginkan memungkinkan. Melebihi angka ini menyebabkan CodeCatalyst laporan ditandai sebagai gagal. Nilai yang valid adalah bilangan bulat.

   Kriteria masalah kualitas hanya diterapkan pada PyLint laporan ESLint SA. Untuk informasi lebih lanjut tentang laporan SA, lihatLaporan analisis statis.

8. Pilih Terapkan.

9. Jalankan alur kerja Anda agar CodeCatalyst menerapkan kriteria keberhasilan pada laporan mentah Anda, dan buat ulang CodeCatalyst laporan terkait dengan informasi kriteria keberhasilan yang disertakan. Untuk informasi selengkapnya, lihat Memulai alur kerja berjalan secara manual.

YAML

Untuk mengkonfigurasi kriteria keberhasilan

1. Di panel navigasi, pilih CI/CD, lalu pilih Alur kerja.

2. Pilih alur kerja yang berisi tindakan yang menghasilkan laporan. Ini adalah laporan yang ingin Anda terapkan kriteria keberhasilannya. Anda dapat memfilter berdasarkan repositori sumber atau nama cabang tempat alur kerja ditentukan, atau memfilter berdasarkan nama alur kerja.

3. Pilih Edit.

4. Pilih YAMAL.

5. Dalam diagram alur kerja, pilih tindakan yang telah Anda konfigurasikan untuk menghasilkan CodeCatalyst laporan.

6. Di panel detail, pilih tab Output.

7. Dalam tindakan, di AutoDiscoverReports bagian, atau di Reports bagian, tambahkan SuccessCriteriaproperti, bersama denganPassRate,,LineCoverage,BranchCoverage, VulnerabilitiesStaticAnalysisBug,StaticAnalysisSecurity, dan StaticAnalysisQuality properti.

   Untuk penjelasan masing-masing properti ini, konsultasikan denganMembangun dan menguji definisi YAMAL tindakan.

8. Pilih Terapkan.

9. Jalankan alur kerja Anda agar CodeCatalyst menerapkan kriteria keberhasilan pada laporan mentah Anda, dan buat ulang CodeCatalyst laporan terkait dengan informasi kriteria keberhasilan yang disertakan. Untuk informasi selengkapnya tentang memulai alur kerja, lihatMemulai alur kerja berjalan secara manual.

Contoh laporan kualitas YAMAL

Contoh berikut menunjukkan cara mengonfigurasi empat laporan secara manual: laporan pengujian, laporan cakupan kode, laporan analisis komposisi perangkat lunak, dan laporan analisis statis.

Reports:
  MyTestReport:
    Format: JUNITXML
    IncludePaths:
      - "*.xml"
    ExcludePaths:
      - report1.xml
      SuccessCriteria:
        PassRate: 90
  MyCoverageReport:
    Format: CLOVERXML
    IncludePaths:
      - output/coverage/jest/clover.xml
      SuccessCriteria:
        LineCoverage: 75
        BranchCoverage: 75
  MySCAReport:
    Format: SARIFSCA
    IncludePaths:
      - output/sca/reports.xml
      SuccessCriteria:
        Vulnerabilities:
          Number: 5
          Severity: HIGH
  MySAReport:
    Format: ESLINTJSON
    IncludePaths:
      - output/static/eslint.xml
      SuccessCriteria:
        StaticAnalysisBug:
          Number: 10
          Severity: MEDIUM
        StaticAnalysisSecurity:
          Number: 5
          Severity: CRITICAL
        StaticAnalysisQuality:
          Number: 0
          Severity: INFORMATIONAL