결과 및 로그 이해 - AWS IoT Greengrass

다음에 대한 설명서를 보고 있습니다.AWS IoT Greengrass Version 1.AWS IoT Greengrass Version 2의 최신 주요 버전입니다AWS IoT Greengrass. 사용에 관한 자세한 내용은 단원을 참조하십시오.AWS IoT Greengrass V2에 대한 자세한 내용은AWS IoT Greengrass Version 2개발자 안내서.

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

결과 및 로그 이해

이 단원에서는 IDT 결과 보고서 및 로그를 보고 해석하는 방법을 설명합니다.

결과 보기

실행하는 동안 IDT는 콘솔, 로그 파일 및 테스트 보고서에 오류를 작성합니다. IDT는 자격 테스트 제품군을 완료한 후 두 개의 테스트 보고서를 생성합니다. 이러한 보고서는 <device-tester-extract-location>/results/<execution-id>/에서 확인할 수 있습니다. 두 보고서 모두 검증 테스트 세트의 실행 결과를 캡처합니다.

awsiotdevicetester_report.xml는 에 제출하는 자격 테스트 보고서입니다.AWS에서 장치를 나열하려면AWS Partner디바이스 카탈로그입니다. 보고서에는 다음 요소가 포함됩니다.

  • IDT 버전

  • 테스트한 AWS IoT Greengrass 버전

  • device.json 파일에 지정된 SKU 및 디바이스 풀 이름

  • device.json 파일에 지정된 디바이스 풀의 기능

  • 테스트 결과의 집계 요약

  • 디바이스 기능(예: 로컬 리소스 액세스, 섀도우, MQTT 등)을 기반으로 테스트된 라이브러리별 테스트 결과의 분석

GGQ_Result.xml 보고서는 JUnit XML 형식입니다. Jenkins, Bamboo 등과 같은 지속적 통합 및 배포 플랫폼에 이 보고서를 통합할 수 있습니다. 보고서에는 다음 요소가 포함됩니다.

  • 테스트 결과의 집계 요약

  • 테스트한 AWS IoT Greengrass 기능별 테스트 결과의 분석

IDT 보고서 해석

awsiotdevicetester_report.xml 또는 awsiotdevicetester_report.xml의 보고서 섹션에는 실행된 테스트 및 결과가 나열됩니다.

첫 번째 XML 태그 <testsuites>에는 테스트 실행의 요약이 포함됩니다. 예:

<testsuites name="GGQ results" time="2299" tests="28" failures="0" errors="0" disabled="0">

<testsuites> 태그에 사용되는 속성

name

테스트 제품군의 이름입니다.

time

검증 세트를 실행하는 데 걸린 시간(초)

tests

실행된 테스트의 수입니다.

failures

실행되었지만 통과하지 못한 테스트의 수입니다.

errors

IDT에서 실행하지 못한 테스트의 수입니다.

disabled

이 속성은 사용되지 않으므로 무시해도 좋습니다.

awsiotdevicetester_report.xml 파일에는 테스트하는 제품에 대한 정보와 테스트 제품군을 실행한 후 확인된 제품 기능에 대한 정보를 포함하는 <awsproduct> 태그가 포함되어 있습니다.

<awsproduct> 태그에 사용되는 속성

name

테스트하는 제품의 이름입니다.

version

테스트하는 제품의 버전입니다.

features

확인된 기능입니다. required로 표시된 기능은 자격에 대한 보드를 제출하는 데 필요합니다. 다음 코드 조각은 awsiotdevicetester_report.xml 파일에 이 정보가 나타나는 방식을 보여 줍니다.

<feature name="aws-iot-greengrass-no-container" value="supported" type="required"></feature>

optional로 표시된 기능은 자격에 필수 기능이 아닙니다. 다음 코드 조각은 선택적 기능을 보여 줍니다.

<feature name="aws-iot-greengrass-container" value="supported" type="optional"></feature>
 <feature name="aws-iot-greengrass-hsi" value="not-supported" type="optional"></feature>

필수 기능에 대한 테스트 실패 또는 오류가 없는 경우 디바이스는 AWS IoT Greengrass를 실행하기 위한 기술 요구 사항을 충족하며 AWS IoT 서비스와 상호 작용할 수 있습니다. 기기의 목록을 보려면AWS Partner디바이스 카탈로그에 이 보고서를 검증의 증거로 사용할 수 있습니다.

테스트 실패 또는 오류의 경우 <testsuites> XML 태그를 검토하여 실패한 테스트를 식별할 수 있습니다. <testsuites> 태그 내부의 <testsuite> XML 태그는 테스트 그룹에 대한 테스트 결과 요약을 보여 줍니다. 예:

<testsuite name="combination" package="" tests="1" failures="0" time="161" disabled="0" errors="0" skipped="0">

형식은 <testsuites> 태그와 비슷하지만, 사용되지 않고 무시할 수 있는 skipped 속성이 있습니다. 각 <testsuite> XML 태그 내부에는 테스트 그룹에 실행된 각 테스트에 대한 <testcase> 태그가 있습니다. 예:

<testcase classname="Security Combination (IPD + DCM) Test Context" name="Security Combination IP Change Tests sec4_test_1: Should rotate server cert when IPD disabled and following changes are made:Add CIS conn info and Add another CIS conn info" attempts="1"></testcase>>

<testcase> 태그에 사용되는 속성

name

테스트의 이름입니다.

attempts

IDT에서 테스트 사례를 실행한 횟수입니다.

테스트가 실패하거나 오류가 발생하는 경우 문제 해결에 대한 정보와 함께 <failure> 또는 <error> 태그가 <testcase> 태그에 추가됩니다. 예:

<testcase classname="mcu.Full_MQTT" name="AFQP_MQTT_Connect_HappyCase" attempts="1"> <failure type="Failure">Reason for the test failure</failure> <error>Reason for the test execution error</error> </testcase>

로그 보기

IDT는 <devicetester-extract-location>/results/<execution-id>/logs에서 테스트 실행 로그를 생성합니다. 두 개의 로그 세트가 생성됩니다.

test_manager.log

AWS IoT Device Tester의 Test Manager 구성 요소(예: 구성 관련 로그, 테스트 시퀀싱 및 보고서 생성)에서 생성된 로그입니다.

<test_case_id>.log (for example, ota.log)

테스트 대상 디바이스의 로그를 포함한 테스트 그룹의 로그입니다. 테스트가 실패하면 테스트에 대한 테스트 대상 디바이스의 로그가 포함된 tar.gz 파일이 생성됩니다(예: ota_prod_test_1_ggc_logs.tar.gz).

자세한 내용은 AWS IoT Greengrass용 IDT 문제 해결 단원을 참조하세요.