Descripción de los resultados y de los registros

En esta sección se describe cómo ver e interpretar registros e informes de resultados de IDT.

Ver los resultados

Mientras ejecuta, IDT escribe errores en la consola, en archivos de registro y en informes de prueba. Una vez que IDT completa el conjunto de pruebas de cualificación, escribe un resumen de ejecución de la prueba en la consola y genera dos informes de prueba. Estos informes se pueden encontrar en devicetester-extract-location/results/execution-id/. Ambos informes capturan los resultados de la ejecución del conjunto de pruebas de cualificación.

awsiotdevicetester_report.xml es el informe de prueba de calificación que envía a AWS para mostrar su dispositivo en el Catálogo de dispositivos de socios de AWS. El informe contiene los componentes siguientes:

• La versión IDT para FreeRTOS.

• La versión de FreeRTOS que se ha probado.

• Las características de FreeRTOS que admite el dispositivo en función de las pruebas superadas.

• El SKU y el nombre de dispositivo especificado en el archivo device.json.

• Las características del dispositivo especificado en el archivo device.json.

• El resumen de agregación de los resultados de casos de prueba.

• Un desglose de los resultados de los casos de prueba por bibliotecas que se probaron en función de las características de los dispositivos.

El FRQ_Report.xml es un informe en formato JUnit XML estándar. Puede integrarlo en las plataformas CI y CD, como Jenkins, Bamboo, etc. El informe contiene los componentes siguientes:

• Un resumen de agregación de los resultados de casos de prueba.

• Un desglose de los resultados de los casos de prueba por bibliotecas que se probaron en función de las características de los dispositivos.

Interpretación de los resultados de IDT para FreeRTOS

La sección del informe en awsiotdevicetester_report.xml o FRQ_Report.xml muestra los resultados de las pruebas que se ejecutan.

La primera etiqueta XML <testsuites> contiene el resumen general de la ejecución de las pruebas. Por ejemplo:

<testsuites name="FRQ results" time="5633" tests="184" failures="0" errors="0" disabled="0">

Atributos que se utilizan en la etiqueta <testsuites>

name

El nombre del grupo de prueba.

time

El tiempo, en segundos, que se ha tardado en ejecutar el conjunto de cualificación.

tests

El número de casos de prueba ejecutados.

failures

El número de casos de prueba que se ejecutaron, pero que no se superaron.

errors

El número de casos de prueba que IDT para FreeRTOS no ha podido ejecutar.

disabled

Este atributo no se utiliza y se puede omitir.

Si no hay errores de caso de prueba, el dispositivo cumple los requisitos técnicos para ejecutar FreeRTOS y puede interoperar con servicios de AWS IoT. Si decide mostrar su dispositivo en el Catálogo de dispositivos de socios de AWS, puede utilizar este informe como prueba de calificación.

Si se producen errores en el caso de prueba, puede identificar el caso de prueba fallido revisando las etiquetas XML <testsuites>. Las etiquetas XML <testsuite> dentro de la etiqueta <testsuites> muestran el resumen del resultado de caso de prueba de un grupo de prueba.

<testsuite name="FreeRTOSVersion" package="" tests="1" failures="0" time="2" disabled="0" errors="0" skipped="0">

El formato es similar a la etiqueta <testsuites>, pero con un atributo denominado skipped que no se utiliza y que se puede pasar por alto. Dentro de cada etiqueta XML <testsuite>, hay etiquetas <testcase> para cada uno de los casos de prueba ejecutados para un grupo de prueba. Por ejemplo:

<testcase classname="FRQ FreeRTOSVersion" name="FreeRTOSVersion" attempts="1"></testcase>

Atributos que se utilizan en la etiqueta <awsproduct>

name

El nombre del producto que se está probando.

version

La versión del producto que se está probando.

features

Las características validadas. Las características marcadas como required son necesarias para solicitar la cualificación de la placa. En el siguiente fragmento se muestra cómo aparece esta información en el archivo awsiotdevicetester_report.xml.

<feature name="core-freertos" value="not-supported" type="required"></feature>

Las características marcadas como optional no son necesarias para la cualificación. Los siguientes fragmentos muestran características opcionales:

<feature name="ota-dataplane-mqtt" value="not-supported" type="optional"></feature>
<feature name="ota-dataplane-http" value="not-supported" type="optional"></feature>

Si no hay errores de pruebas para las características requeridas, el dispositivo cumple los requisitos técnicos para ejecutar FreeRTOS y puede interoperar con servicios de AWS IoT. Si quiere mostrar su dispositivo en el Catálogo de dispositivos de socios de AWS, puede utilizar este informe como prueba de calificación.

Si se producen errores en pruebas, puede identificar la prueba fallido revisando las etiquetas XML <testsuites>. Las etiquetas XML <testsuite> dentro de la etiqueta <testsuites> muestran el resumen del resultado de la prueba de un grupo de prueba. Por ejemplo:

<testsuite name="FreeRTOSVersion" package="" tests="1" failures="1" time="2" disabled="0" errors="0" skipped="0">

El formato es similar a la etiqueta <testsuites>, pero con un atributo skipped que no se utiliza y que se puede pasar por alto. Dentro de cada etiqueta XML <testsuite>, hay etiquetas <testcase> para cada prueba ejecutada para un grupo de prueba. Por ejemplo:

<testcase classname="FreeRTOSVersion" name="FreeRTOSVersion"></testcase>

Atributos que se utilizan en la etiqueta <testcase>

name

El nombre del caso de prueba.

attempts

Las veces que IDT para FreeRTOS ha ejecutado la prueba.

Cuando una prueba genera un error o si se produce un error, las etiquetas <failure> o <error> se añaden a la etiqueta <testcase> con información para la resolución de problemas. Por ejemplo:

<testcase classname="FRQ FreeRTOSVersion" name="FreeRTOSVersion"> 
    <failure type="Failure">Reason for the test case failure</failure> 
    <error>Reason for the test case execution error</error> 
</testcase>

Para obtener más información, consulte Solución de problemas.

Visualización de registros de

Encontrará los registros que IDT para FreeRTOS genera a partir de la ejecución de la prueba en devicetester-extract-location/results/execution-id/logs. Se generan dos conjuntos de registros:

• test_manager.log

  Contiene los registros generados a partir de IDT para FreeRTOS (por ejemplo, configuración relacionada con los registros y generación de informes).

• test_group_id/test_case_id/test_case_id.log

  El archivo de registro de un caso de prueba, incluida la salida del dispositivo que se está probando. El nombre que se asigna al archivo de registro depende del grupo de prueba y del caso de prueba ejecutado.