Memahami hasil dan log - AWS IoT Greengrass
Melihat HasilMenafsirkan hasil AWS IoT Device TesterMelihat log

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Memahami hasil dan log

Bagian ini menjelaskan cara melihat dan menafsirkan laporan hasil IDT dan log.

Untuk memecahkan masalah kesalahan, lihatPenyelesaian masalah IDT untuk V2 AWS IoT Greengrass.

Melihat Hasil

Saat berjalan, IDT menuliskan kesalahan ke konsol, file log, dan laporan tes. Setelah IDT menyelesaikan rangkaian tes kualifikasi, ia akan menghasilkan dua laporan uji. Laporan-laporan ini terletak di <device-tester-extract-location>/results/<execution-id>/. Kedua laporan tersebut menangkap hasil dari menjalankan rangkaian uji kualifikasi.

awsiotdevicetester_report.xml adalah laporan uji kualifikasi yang Anda kirimkan ke AWS untuk mencantumkan perangkat Anda di Katalog Perangkat AWS Partner. Laporan tersebut berisi elemen berikut:

  • Versi IDT.

  • Versi AWS IoT Greengrass yang diuji.

  • SKU dan nama kolam perangkat yang ditentukan dalam file device.json.

  • Fitur kolam perangkat yang ditentukan dalam file device.json.

  • Ringkasan agregat hasil tes.

  • Perincian hasil tes oleh pustakan yang diuji berdasarkan fitur perangkat, seperti akses sumber daya lokal, bayangan, dan MQTT.

Laporan GGV2Q_Result.xml dalam format JUnit XML. Anda dapat mengintegrasikannya ke dalam integrasi berkelanjutan dan platform deployment seperti Jenkins, Bamboo, dan sebagainya. Laporan tersebut berisi elemen berikut:

  • Ringkasan agregat hasil pengujian.

  • Perincian hasil uji menurut fungsionalitas AWS IoT Greengrass yang diuji.

Menafsirkan hasil AWS IoT Device Tester

Bagian laporan di awsiotdevicetester_report.xml atau awsiotdevicetester_report.xml mencantumkan tes yang dijalankan dan hasilnya.

Tag XML pertama <testsuites> berisi ringkasan tes yang dijalankan. Misalnya:

<testsuites name="GGQ results" time="2299" tests="28" failures="0" errors="0" disabled="0">
Atribut yang digunakan dalam tanda <testsuites>
name

Nama rangkaian tes.

time

Waktu, dalam hitungan detik, yang diperlukan untuk menjalankan rangkaian kualifikasi.

tests

Jumlah tes yang dijalankan.

failures

Jumlah tes yang dijalankan, tetapi tidak lulus.

errors

Jumlah tes yang tidak bisa dijalankan oleh IDT.

disabled

Abaikan atribut ini. Atribut ini tidak digunakan.

File awsiotdevicetester_report.xml berisi sebuah tanda <awsproduct> yang berisi informasi tentang produk yang sedang diuji dan fitur produk yang divalidasi setelah menjalankan serangkaian pengujian.

Atribut yang digunakan dalam tanda <awsproduct>
name

Nama produk yang sedang diuji.

version

Versi produk yang sedang diuji.

features

Fitur divalidasi. Fitur yang ditandai sebagai required wajib mengirimkan forum Anda untuk kualifikasi. Potongan berikut menunjukkan bagaimana informasi ini muncul di file awsiotdevicetester_report.xml.

<name="aws-iot-greengrass-v2-core" value="supported" type="required"></feature>

Jika tidak terdapat kegagalan pengujian atau kesalahan untuk fitur yang diperlukan, perangkat Anda memenuhi persyaratan teknis untuk menjalankan AWS IoT Greengrass dan dapat bekerja sama dengan layanan AWS IoT. Jika Anda ingin mencantumkan perangkat Anda di Katalog Perangkat AWS Partner, Anda dapat menggunakan laporan ini sebagai bukti kualifikasi.

Jika terjadi kegagalan atau kesalahan uji, Anda dapat mengidentifikasi pengujian yang gagal tersebut dengan meninjau tanda XML <testsuites>. Tag XML <testsuite> di dalam tag <testsuites> menunjukkan ringkasan hasil tes untuk grup uji. Misalnya:

<testsuite name="combination" package="" tests="1" failures="0" time="161" disabled="0" errors="0" skipped="0">

Format ini serupa dengan tanda <testsuites>, tetapi dengan atribut skipped yang tidak digunakan dan dapat diabaikan. Di dalam masing-masing tanda XML <testsuite>, terdapat tanda <testcase> untuk setiap pengujian yang dijalankan untuk suatu grup uji. Misalnya:

<testcase classname="Security Combination (IPD + DCM) Test Context" name="Security Combination IP Change Tests sec4_test_1: Should rotate server cert when IPD disabled and following changes are made:Add CIS conn info and Add another CIS conn info" attempts="1"></testcase>>
Atribut yang digunakan dalam tanda <testcase>
name

Nama tes.

attempts

Berapa kali IDT menjalankan uji kasus.

Ketika tes gagal atau kesalahan terjadi, tanda <failure> atau <error> akan ditambahkan ke tanda <testcase> dengan informasi untuk pemecahan masalah. Misalnya:

<testcase classname="mcu.Full_MQTT" name="AFQP_MQTT_Connect_HappyCase" attempts="1">
	<failure type="Failure">Reason for the test failure</failure>
	<error>Reason for the test execution error</error>
</testcase>

Melihat log

IDT menghasilkan log dari tes yang berjalan di <devicetester-extract-location>/results/<execution-id>/logs. Dua rangkaian log yang dihasilkan:

test_manager.log

Log yang dihasilkan dari komponen Test Manager AWS IoT Device Tester (misalnya, log yang terkait dengan konfigurasi, pengurutan tes, dan pembuatan laporan).

<test-case-id>.log (for example, lambdaDeploymentTest.log)

Log dari kasus uji dalam grup uji, termasuk log dari perangkat yang diuji. Dimulai dengan IDT v4.2.0, IDT mengelompokkan log pengujian untuk setiap kasus pengujian dalam folder test-case-id<> terpisah di dalam<devicetester-extract-location>/results/<execution-id>/logs/<test-group-id>/ direktori.