Pengujian dengan alur kerja

Di CodeCatalyst, Anda dapat menjalankan pengujian sebagai bagian dari tindakan alur kerja yang berbeda, seperti build dan test. Tindakan alur kerja ini semuanya dapat menghasilkan laporan berkualitas. Tindakan uji adalah tindakan alur kerja yang menghasilkan pengujian, cakupan kode, analisis komposisi perangkat lunak, dan laporan analisis statis. Laporan ini ditampilkan di CodeCatalyst konsol.

Topik

• Jenis laporan kualitas
• Menambahkan tindakan pengujian
• Melihat hasil tindakan uji
• Melewatkan tes yang gagal dalam suatu tindakan
• Integrasi dengan universal-test-runner
• Mengkonfigurasi laporan kualitas dalam suatu tindakan
• Praktik terbaik untuk pengujian
• SARIFProperti yang didukung

Jenis laporan kualitas

Tindakan CodeCatalyst pengujian Amazon mendukung jenis laporan kualitas berikut. Untuk contoh tentang cara memformat laporan ini di AndaYAML, lihatYAMLContoh laporan kualitas.

Laporan pengujian

Di CodeCatalyst, Anda dapat mengonfigurasi pengujian unit, pengujian integrasi, dan pengujian sistem yang berjalan selama build. Kemudian CodeCatalyst dapat membuat laporan yang berisi hasil tes Anda.

Anda dapat menggunakan laporan pengujian untuk membantu memecahkan masalah dengan pengujian Anda. Jika memiliki banyak laporan pengujian dari beberapa build, Anda dapat menggunakan laporan pengujian untuk melihat tingkat kegagalan guna membantu mengoptimalkan build.

Anda dapat menggunakan format file laporan pengujian berikut:

• Mentimun JSON (.json)

• JUnitXML(.xml)

• NUnitXML(.xml)

• NUnit3XML(.xml)

• TestNG XML (.xml)

• Studio Visual TRX (.trx, .xml)

Laporan cakupan kode

Di CodeCatalyst, Anda dapat membuat laporan cakupan kode untuk pengujian Anda. CodeCatalyst menyediakan metrik cakupan kode berikut:

Cakupan garis

Mengukur berapa banyak pernyataan yang dicakup tes Anda. Pernyataan adalah instruksi tunggal, tidak termasuk komentar.

line coverage = (total lines covered)/(total number of lines)

Cakupan cabang

Mengukur berapa banyak cabang yang dicakup pengujian Anda dari setiap cabang yang mungkin dari struktur kontrol seperti case pernyataan if atau pernyataan.

branch coverage = (total branches covered)/(total number of branches)

Format file laporan cakupan kode berikut didukung:

• JaCoCo XML(.xml)

• SimpleCov JSON(dihasilkan oleh simplecov, bukan simplecov-json, .json)

• Semanggi XML (versi 3, .xl)

• Cobertura XML (.xml)

• LCOV(.info)

Laporan analisis komposisi perangkat lunak

Di CodeCatalyst, Anda dapat menggunakan alat analisis komposisi perangkat lunak (SCA) untuk menganalisis komponen aplikasi Anda dan memeriksa kerentanan keamanan yang diketahui. Anda dapat menemukan dan mengurai SARIF laporan yang merinci kerentanan dengan berbagai tingkat keparahan dan cara untuk memperbaikinya. Nilai keparahan yang valid, dari yang paling parah hingga yang paling parah, adalah:CRITICAL,HIGH,MEDIUM,,LOW,INFORMATIONAL.

Format file SCA laporan berikut didukung:

• SARIF(.sarif, .json)

Laporan analisis statis

Anda dapat menggunakan laporan analisis statis (SA) untuk mengidentifikasi cacat kode tingkat sumber. Di CodeCatalyst, Anda dapat membuat laporan SA untuk membantu menyelesaikan masalah dalam kode Anda sebelum Anda menerapkannya. Masalah ini termasuk bug, kerentanan keamanan, masalah kualitas, dan kerentanan lainnya. Nilai keparahan yang valid, dari yang paling parah hingga yang paling parah, adalah: CRITICALHIGH,MEDIUM,LOW,, danINFORMATIONAL.

CodeCatalyst menyediakan metrik SA berikut:

Bug

Mengidentifikasi sejumlah kemungkinan bug yang ditemukan dalam kode sumber Anda. Bug ini dapat mencakup masalah terkait keamanan memori. Berikut ini adalah contoh bug.

// The while loop will inadvertently index into array x out-of-bounds
int x[64];
while (int n = 0; n <= 64; n++) {
  x[n] = 0;
}

Kerentanan keamanan

Mengidentifikasi sejumlah kemungkinan kerentanan keamanan yang ditemukan dalam kode sumber Anda. Kerentanan keamanan ini dapat mencakup masalah seperti menyimpan token rahasia Anda dalam teks biasa.

Masalah kualitas

Mengidentifikasi sejumlah kemungkinan masalah kualitas yang ditemukan dalam kode sumber Anda. Masalah kualitas ini dapat mencakup masalah mengenai konvensi gaya. Berikut ini adalah contoh masalah kualitas.

// The function name doesn't adhere to the style convention of camelCase
int SUBTRACT(int x, int y) {
  return x-y
}

Kerentanan lainnya

Mengidentifikasi sejumlah kemungkinan kerentanan lain yang ditemukan dalam kode sumber Anda.

CodeCatalyst mendukung format file laporan SA berikut:

• PyLint (.py)

• ESLint(.js, .jsx, .ts, .tsx)

• SARIF(.sarif, .json)