Device Farm でのテストレポートによる作業 - AWS Device Farm
前提条件テスト結果の把握レポートの表示

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Device Farm でのテストレポートによる作業

テストレポートを表示するには、Device Farm コンソールを使用します。詳細については、「AWS Device Farm でのレポート」を参照してください。

前提条件

テスト実行を設定し、完了したことを確認します。

  1. 実行を作成するには「Device Farm でのテスト実行の作成」を参照し、その後、このページに戻ります。

  2. 実行が完了したことを確認します。テスト実行中、Device Farm コンソールでは進行中のものに保留中アイコン Device Farm scheduled a job. が表示されます。実行中の各デバイスも保留中のアイコンで起動し、テストが開始されると実行中の Device Farm progress indicator. アイコンに切り替わります。各テストが終了すると、テスト結果アイコンがデバイス名の横に表示されます。すべてのテストが完了すると、実行の横にある保留中アイコンがテスト結果アイコンに変わります。詳細については、「テスト結果の把握」を参照してください。

テスト結果の把握

Device Farm コンソールが表示するアイコンは、完了したテスト実行の状態の迅速な評価に役立ちます。

個々のテストの結果のレポート

個々のテストについて伝えるレポートで、Device Farm は以下のアイコンを表示します:

説明 アイコン
テストが成功しました。 The test succeeded.
テストが失敗しました。 The test failed.
Device Farm がテストをスキップしました。 The test was skipped.
テストが停止しました。 The test was stopped.
Device Farm が警告が返しました。 Device Farm returned a warning.
Device Farm がエラーを返しました。 Device Farm returned an error.

複数テストの結果のレポート

完了した実行を選択すると、Device Farm がテスト結果の概要グラフを表示します。

Device Farm test results summary graph.

例えば、このテスト実行の結果グラフは、停止したテストが 4、失敗したテストが 1、成功したテストが 10 あることを表します。

グラフには常に色分けとラベル付けがされています。

レポートの表示

テストの結果は、Device Farm コンソールで表示できます。

テスト実行の概要ページの表示

  1. https://console.aws.amazon.com/devicefarm で Device Farm コンソールにサインインします。

  2. ナビゲーションペインで、 [モバイルデバイスのテスト] を選択し、次に、[プロジェクト] を選択します。

  3. プロジェクトのリストで、実行のプロジェクトを選択します。

    ヒント

    名前によりプロジェクトリストを絞り込むには、検索バーを使用します。

  4. 概要レポートページを表示するには、完了した実行を選択します。

  5. テスト実行の概要ページに、テスト結果の概要が表示されます。

    • 「一意の問題] セクションには、固有の警告と障害がリストされています。一意の問題を表示するには、「一意の問題のレポートを表示する」の手順に従います。

    • 「デバイス] セクションには、各デバイスでの合計テスト数が結果ごとに表示されます。

      Device Farm device summary results.

      この例には、いくつかのデバイスがあります。最初のテーブルエントリで、Android バージョン 10 を実行する Google Pixel 4 XL デバイスのレポートによると、3 件の成功したテストは実行に 2 分 36 秒を要しました。

      デバイスごとに結果を表示するには、「デバイスのレポートを表示する」の手順に従います。

    • 「スクリーンショット] セクションには、実行中に Device Farm がキャプチャーしてデバイスごとにグループ化した、スクリーンショットのリストが表示されます。

    • 「解析結果] セクションでは、解析結果をダウンロードできます。

一意の問題のレポートを表示する

  1. [一意の問題] で、表示する問題を選択します。

  2. デバイスを選択します。レポートには、問題に関する情報が表示されます。

    「動画] セクションには、ダウンロード可能なテストのテストの動画記録が表示されます。

    [結果] セクションには、テストの結果が表示されます。ステータスは結果アイコンとして表されます。詳細については、「個々のテストの結果のレポート」を参照してください。

    [ログ] セクションには、テスト中に Device Farm が記録した情報が表示されます。この情報を表示するには、「レポート内の問題、デバイス、スイート、またはテストのログ情報を表示する」の手順に従います。

    [パフォーマンス] タブには、テスト中に Device Farm が生成したパフォーマンスデータに関する情報が表示されます。このパフォーマンスデータを表示するには、「レポート内の問題、デバイス、スイート、またはテストのパフォーマンスデータを表示する」の手順に従います。

    [ファイル] タブには、ダウンロード可能な、テスト関連ファイル (ログファイルなど) の一覧が表示されます。ファイルをダウンロードするには、リスト内のファイルのリンクを選択します。

    [スクリーンショット] タブには、Device Farm がテスト中にキャプチャした、スクリーンショットのリストが表示されます。

デバイスのレポートを表示する

  • [デバイス] セクションで、デバイスを選択します。

    [ビデオ] セクションには、ダウンロード可能なテストのビデオ記録が表示されます。

    [スイート] セクションには、デバイスのスイートに関する情報を含んでいるテーブルが表示されます。

    このテーブルでは、[テスト結果] 列に、デバイス上で実行した各テストスイートにおけるテスト数を結果ごとにまとめています。また、このデータにはグラフィカルコンポーネントもあります。詳細については、「複数テストの結果のレポート」を参照してください。

    スイートごとにすべての結果を表示するには、「テストスイートレポートを表示する」の手順に従います。

    [ログ] セクションには、実行中に Device Farm がデバイス用に記録した情報が表示されます。この情報を表示するには、「レポート内の問題、デバイス、スイート、またはテストのログ情報を表示する」の手順に従います。

    [パフォーマンス] セクションには、実行中に Device Farm がデバイス用に生成したパフォーマンスデータに関する情報が表示されます。このパフォーマンスデータを表示するには、「レポート内の問題、デバイス、スイート、またはテストのパフォーマンスデータを表示する」の手順に従います。

    [ファイル] セクションには、デバイスの他、ダウンロード可能な関連ファイル (ログファイルなど) に関するスイートのリストが表示されます。ファイルをダウンロードするには、リスト内のファイルのリンクを選択します。

    [スクリーンショット] セクションには、デバイスの実行中に Device Farm がキャプチャしてスイートごとにグループ化した、スクリーンショットのリストが表示されます。

テストスイートレポートを表示する

  1. [デバイス] セクションで、デバイスを選択します。

  2. [スイート] セクションで、テーブルからスイートを選択します。

    [ビデオ] セクションには、ダウンロード可能なテストのビデオ記録が表示されます。

    [テスト] セクションには、スイートのテストに関する情報を含んでいるテーブルが表示されます。

    テーブルでは、[テスト結果] 列に結果が表示されます。また、このデータにはグラフィカルコンポーネントもあります。詳細については、「複数テストの結果のレポート」を参照してください。

    テストごとに結果を最大限に表示するには、「テストレポートを表示する」の手順に従います。

    [ログ] セクションには、スイートの実行中に Device Farm が記録した情報が表示されます。この情報を表示するには、「レポート内の問題、デバイス、スイート、またはテストのログ情報を表示する」の手順に従います。

    [パフォーマンス] セクションには、スイートの実行中に Device Farm が生成したパフォーマンスデータに関する情報が表示されます。このパフォーマンスデータを表示するには、「レポート内の問題、デバイス、スイート、またはテストのパフォーマンスデータを表示する」の手順に従います。

    [ファイル] セクションには、スイート用のテストのリストと、ダウンロード可能な関連ファイル (ログファイルなど) が表示されます。ファイルをダウンロードするには、リスト内のファイルのリンクを選択します。

    [スクリーンショット] セクションには、スイートの実行中に Device Farm がキャプチャしてテストごとにグループ化した、スクリーンショットのリストが表示されます。

テストレポートを表示する

  1. [デバイス] セクションで、デバイスを選択します。

  2. [スイート] セクションで、スイートを選択します。

  3. [テスト] セクションで、テストを選択します。

  4. [ビデオ] セクションには、ダウンロード可能なテストのビデオ記録が表示されます。

    [結果] セクションには、テストの結果が表示されます。ステータスは結果アイコンとして表されます。詳細については、「個々のテストの結果のレポート」を参照してください。

    [ログ] セクションには、テスト中に Device Farm が記録した情報が表示されます。この情報を表示するには、「レポート内の問題、デバイス、スイート、またはテストのログ情報を表示する」の手順に従います。

    [パフォーマンス] タブには、テスト中に Device Farm が生成したパフォーマンスデータに関する情報が表示されます。このパフォーマンスデータを表示するには、「レポート内の問題、デバイス、スイート、またはテストのパフォーマンスデータを表示する」の手順に従います。

    [ファイル] タブには、ダウンロード可能な、テスト関連ファイル (ログファイルなど) の一覧が表示されます。ファイルをダウンロードするには、リスト内のファイルのリンクを選択します。

    [スクリーンショット] タブには、Device Farm がテスト中にキャプチャした、スクリーンショットのリストが表示されます。

レポート内の問題、デバイス、スイート、またはテストのパフォーマンスデータを表示する

注記

Device Farm は、現時点では Android デバイスのみ デバイスのパフォーマンスデータを収集します。

以下の情報が [パフォーマンス] タブに表示されます:

  • [CPU] グラフは、選択された問題、デバイス、スイート、またはテストにおいてアプリケーションが 1 つのコアで使用した CPU の割合 (縦軸) を時間 (横軸) に渡って表示します。

    縦軸は、0% から最大記録値までパーセンテージで表します。

    アプリケーションが複数のコアを使用する場合、パーセンテージは 100% を超えることがあります。例えば、3 つのコアが 60% 使用されている場合は 180% と表示されます。

  • [メモリ] グラフは、グラフは、選択された問題、デバイス、スイート、またはテストにおいてアプリケーションが使用した MB 数 (縦軸) を時間 (横軸) に渡って表示します。

    縦軸は、0 MB から最大記録値まで MB で表します。

  • [スレッド] グラフは、選択された問題、デバイス、スイート、またはテストにおいて使用したスレッド数 (縦軸) を時間 (横軸) に渡って表示します。

    縦軸は、0 スレッドから最大記録値までスレッド数で表します。

いずれの場合も横軸は、選択された問題、デバイス、スイート、またはテストの実行の開始から終了までを秒単位で表します。

特定のデータポイントの情報を表示するには、対象のグラフで横軸に沿いながら該当する秒で一時停止します。

レポート内の問題、デバイス、スイート、またはテストのログ情報を表示する

[ログ] セクションでは以下の情報が表示されます:

  • ソース] はログエントリのソースを表します。可能な値は以下のとおりです:

    • [ハーネス] は、Device Farm が作成したログエントリを表します。これらのログエントリは、通常、イベントの開始および停止中に作成されます。

    • [デバイス] は、デバイスが作成したログエントリを表します。Android の場合、これらのログエントリは logcat と互換性があります。iOS の場合、これらのログエントリは syslog と互換性があります。

    • テスト] は、テストまたはテストフレームワークのいずれかが作成したログエントリを表します。

  • 時間] は、最初のログエントリと、このログエントリの間の経過時間を表します。時間は MM:SS.SSS 形式で表されます。M は分を表し、S は秒を表します。

  • PID] は、ログエントリを作成したプロセス識別子 (PID) を表します。デバイス上のアプリケーションによって作成されるログエントリの PID はすべて同一になります。

  • レベル] はログエントリのロギングレベルを表します。例えば、Logger.debug("This is a message!") は Debug のレベルを記録します。使用できる値は次のとおりです:

    • アラート

    • [非常事態]

    • デバッグ

    • 緊急

    • エラー

    • エラー発生

    • 失敗

    • 情報

    • 内部

    • 注意

    • 成功

    • スキップ

    • 停止

    • 詳細

    • 警告済み

    • 警告

  • タグ] は、ログエントリの任意のメタデータを表します。例えば、Android logcat は、システムのどの部分がログエントリを作成したかを記述するためにこれを使用できます (例: ActivityManager)。

  • メッセージ] は、ログエントリのメッセージまたはデータを表します。例えば、Logger.debug("Hello, World!") は "Hello, World!" のメッセージを記録します。

情報の一部のみを表示するには:

  • 特定の列の値と一致するすべてのログエントリを表示するには、検索バーに値を入力します。例えば、Harness の [ソース] 値を使用してすべてのログエントリを表示するには、検索バーに「Harness」と入力します。

  • 列ヘッダーボックスからすべての文字を削除するには、その列ヘッダーボックスの [X] を選択します。列ヘッダーボックスからすべての文字を削除することは、その列のヘッダーボックスに「*」を入力するのと同じです。

実行したすべてのスイートとテストを含む、デバイスのすべてのログ情報をダウンロードするには、[ログをダウンロード] を選択します。