使用 Device Farm 中的测试报告 - AWS Device Farm
先决条件 了解测试结果查看报告

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

使用 Device Farm 中的测试报告

使用 Device Farm 控制台查看测试报告。有关更多信息，请参阅 AWS Device Farm 中的报告。

先决条件

设置测试运行并验证它是否已完成。

  1. 要创建运行，请按照在 Device Farm 中创建测试运行中的说明操作，然后返回到此页面。

  2. 验证运行是否已完成。在测试运行期间，Device Farm 控制台会显示正在进行的运行的待处理图标 Device Farm scheduled a job. 。运行中的每台设备也将以待处理图标开始，然后在测试开始时切换到正在运行的 Device Farm progress indicator. 图标。每次测试完成后，设备名称旁边都会显示一个测试结果图标。完成所有测试后，运行旁边的待处理图标将变为测试结果图标。有关更多信息，请参阅 了解测试结果。

了解测试结果

Device Farm 控制台中显示的图标可帮助您快速评估已完成的测试运行的状态。

单个测试的报告结果

对于描述单个测试的报告，Device Farm 会显示图标：

描述 图标
测试成功。 The test succeeded.
测试失败。 The test failed.
Device Farm 跳过了测试。 The test was skipped.
已停止测试。 The test was stopped.
Device Farm 返回了警告。 Device Farm returned a warning.
Device Farm 返回了错误。 Device Farm returned an error.

多个测试的报告结果

如果您选择已完成的运行，Device Farm 会显示测试结果摘要图表。

Device Farm test results summary graph.

例如，此测试运行结果栏显示运行中有 4 个测试已停止、有 1 个测试失败以及有 10 个测试成功。

图表始终采用颜色编码和标记。

查看报告

您可以在 Device Farm 控制台中查看测试结果。

查看测试运行摘要页面

  1. 通过以下网址登录 Device Farm 控制台： https://console.aws.amazon.com/devicefarm。

  2. 在导航窗格中，选择移动设备测试，然后选择项目。

  3. 从项目列表中选择用于运行的项目。

    提示

    使用搜索栏按名称筛选项目列表。

  4. 选择已完成的运行以查看其摘要报告页面。

  5. 测试运行摘要页面会显示测试结果的概览。

    • Unique problems (唯一问题) 部分列出唯一的警告和故障。要查看具有唯一性的问题，请按照查看唯一问题报告中的说明操作。

    • Devices (设备) 部分按结果显示每个设备的测试总数。

      Device Farm device summary results.

      在此示例中，有多个设备。在第一个表格条目中，运行 Android 版本 10 的 Google Pixel 4 XL 设备报告了三次成功的测试，运行时间为 02:36 分钟。

      要按设备查看结果，请按照查看设备报告。中的说明操作。

    • 屏幕截图部分显示 Device Farm 在运行期间捕获的任何屏幕截图的列表（按设备分组）。

    • 在解析结果部分，您可以下载解析结果。

查看唯一问题报告

  1. 在 Unique problems (唯一问题) 中，选择要查看的问题。

  2. 选择设备。报告显示有关该问题的信息。

    Video (视频) 部分显示该测试的可下载视频记录。

    结果部分显示测试结果。状态以结果图标表示。有关更多信息，请参阅 单个测试的报告结果。

    日志部分显示 Device Farm 在测试期间记录的任何信息。要查看此信息，请按照查看报告中的问题、设备、套件或测试的日志信息中的说明操作。

    性能选项卡显示有关 Device Farm 在测试期间生成的任何性能数据的信息。要查看此性能数据，请按照查看报告中的问题、设备、套件或测试的性能数据中的说明操作。

    文件选项卡显示该测试的任何可下载关联文件（如日志文件）的列表。要下载文件，请在列表中选择该文件的链接。

    屏幕截图选项卡显示 Device Farm 在测试期间捕获的任何屏幕截图的列表。

查看设备报告。

  • 在 Devices (设备) 部分，选择设备。

    Video (视频) 部分显示该测试的可下载视频记录。

    套件部分显示一个表，其中包含有关设备套件的信息。

    在此表中，测试结果列按设备上运行的每个测试套件的结果汇总了测试数。这些数据还有一个图形组件。有关更多信息，请参阅 多个测试的报告结果。

    要按套件查看完整结果，请按照 查看测试套件报告 中的说明操作。

    日志部分显示 Device Farm 在运行期间为该设备记录的任何信息。要查看此信息，请按照查看报告中的问题、设备、套件或测试的日志信息中的说明操作。

    性能部分显示有关 Device Farm 在运行期间为该设备生成的任何性能数据的信息。要查看此性能数据，请按照查看报告中的问题、设备、套件或测试的性能数据中的说明操作。

    文件部分显示该设备的套件以及任何可下载关联文件（如日志文件）的列表。要下载文件，请在列表中选择该文件的链接。

    截图部分显示 Device Farm 在运行期间为该设备捕获的任何屏幕截图的列表（按套件分组）。

查看测试套件报告

  1. 在 Devices (设备) 部分，选择设备。

  2. 在套件部分，从表中选择套件。

    Video (视频) 部分显示该测试的可下载视频记录。

    测试部分显示一个表格，其中包含有关套件中测试的信息。

    在表中，测试结果列显示结果。这些数据还有一个图形组件。有关更多信息，请参阅 多个测试的报告结果。

    要按测试查看完整结果，请按照 查看测试报告 中的说明操作。

    日志部分显示 Device Farm 在运行期间为该套件记录的任何信息。要查看此信息，请按照查看报告中的问题、设备、套件或测试的日志信息中的说明操作。

    性能部分显示有关 Device Farm 在运行期间为该设备生成的任何性能数据的信息。要查看此性能数据，请按照查看报告中的问题、设备、套件或测试的性能数据中的说明操作。

    文件部分显示该套件的测试以及任何可下载关联文件（如日志文件）的列表。要下载文件，请在列表中选择该文件的链接。

    屏幕截图部分显示 Device Farm 在运行期间为该套件捕获的任何屏幕截图的列表（按测试分组）。

查看测试报告

  1. 在 Devices (设备) 部分，选择设备。

  2. 在 Suites (套件) 部分中选择套件。

  3. 在测试部分中，选择测试。

  4. Video (视频) 部分显示该测试的可下载视频记录。

    结果部分显示测试结果。状态以结果图标表示。有关更多信息，请参阅 单个测试的报告结果。

    日志部分显示 Device Farm 在测试期间记录的任何信息。要查看此信息，请按照查看报告中的问题、设备、套件或测试的日志信息中的说明操作。

    性能选项卡显示有关 Device Farm 在测试期间生成的任何性能数据的信息。要查看此性能数据，请按照查看报告中的问题、设备、套件或测试的性能数据中的说明操作。

    文件选项卡显示该测试的任何可下载关联文件（如日志文件）的列表。要下载文件，请在列表中选择该文件的链接。

    屏幕截图选项卡显示 Device Farm 在测试期间捕获的任何屏幕截图的列表。

查看报告中的问题、设备、套件或测试的性能数据

注意

Device Farm 目前仅收集 Android 设备的设备性能数据。

性能选项卡会显示以下信息：

  • CPU 图表显示一段时间内（沿横轴）选定问题、设备、套件或测试期间（沿纵轴）应用程序在单个核心上占用的 CPU 的百分比。

    纵轴用百分比表示，从 0% 到最大记录百分比。

    如果应用程序使用了多个核心，此百分比可能会超过 100%。例如，如果三个核心的使用率为 60%，此百分比将显示为 180%。

  • 内存图表显示一段时间内（沿横轴）选定问题、设备、套件或测试期间（沿纵轴）应用程序使用的 MB 数。

    纵轴用 MB 表示，从 0 MB 到记录的最大 MB 数。

  • Threads (线程) 图表显示一段时间内（沿横轴）选定问题、设备、套件或测试期间（沿纵轴）应用程序使用的线程数。

    纵轴用线程数表示，从 0 线程到记录的最大线程数。

在所有情况下，横轴均表示从选定问题、设备、套件或测试的运行开始到结束的时间，以秒为单位。

要显示特定数据点的信息，请将鼠标悬停在所需图形的横轴上的所需秒数处。

查看报告中的问题、设备、套件或测试的日志信息

日志部分显示以下信息：

  • Source (来源) 表示日志条目的来源。可能的值包括：

    • Harness 表示 Device Farm 创建的日志条目。这些日志条目通常在启动和停止事件期间创建。

    • 设备表示设备创建的日志条目。对于 Android，这些日志条目与 Logcat 兼容。对于 iOS，这些日志条目与 syslog 兼容。

    • Test (测试) 表示某测试或其测试框架创建的一个日志条目。

  • Time (时间) 表示第一个日志条目与此日志条目之间相隔的时间。时间采用 MM:SS.SSS 格式，其中 M 表示分钟，S 表示秒。

  • PID 表示创建了日志条目的进程标识符 (PID)。设备上的应用程序创建的所有日志条目具有相同的 PID。

  • Level (级别) 表示日志条目的日志记录级别。例如，Logger.debug("This is a message!") 会记录 Debug 的级别。可能的值有：

    • 提醒

    • 重大

    • Debug

    • Emergency

    • 错误

    • Errored

    • 已失败

    • 信息

    • Internal

    • Notice

    • Passed

    • Skipped

    • Stopped

    • 详细

    • Warned

    • 警告

  • Tag (标签) 表示日志条目的任意元数据。例如，Android Logcat 可用它来描述系统的哪个部分创建了该日志条目 (例如，ActivityManager)。

  • Message (消息) 表示日志条目的消息或数据。例如，Logger.debug("Hello, World!") 会记录 "Hello, World!" 的消息。

仅显示信息的一部分：

  • 要显示与特定列中的某个值匹配的所有日志条目，请在搜索栏中输入该值。例如，要显示源值为 Harness 的所有日志条目，请在搜索栏中输入 Harness。

  • 要从列标题框中删除所有字符，请选择该列标题框中的 X。从列标题框中删除所有字符与在该列标题框中键入 * 的作用相同。

要下载设备的所有日志信息，包括曾运行的所有套件和测试，请选择下载日志。