在 Device Farm 中使用測試報告 - AWS Device Farm
必要條件了解測試結果檢視報告

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

在 Device Farm 中使用測試報告

使用 [Device Farm] 主控台來檢視測試報告。如需詳細資訊，請參閱 AWS Device Farm 中的報告。

必要條件

設定測試執行並驗證其是否已完成。

  1. 若要建立執行，請參閱在 Device Farm 中建立測試回合，然後返回此頁面。

  2. 確認執行已完成。在測試執行期間，Device Farm 主控台會 Device Farm scheduled a job. 針對進行中的執行顯示擱置圖示。運行中的每個設備也將以待處理圖標啟動，然後在測試開始時切換到正在運行的 Device Farm progress indicator. 圖標。每次測試完成時，裝置名稱旁會顯示測試結果圖示。完成所有測試後，運行旁邊的待處理圖標將更改為測試結果圖標。如需詳細資訊，請參閱 了解測試結果。

了解測試結果

Device Farm 主控台會顯示圖示，協助您快速評估已完成測試回合的狀態。

報告個別測試的結果

對於描述個別測試的報告，裝置伺服器陣列會顯示一個圖示：

描述 圖示
測試成功。 The test succeeded.
測試失敗。 The test failed.
Device Farm 已跳過測試。 The test was skipped.
測試已停止。 The test was stopped.
Device Farm 傳回警告。 Device Farm returned a warning.
Device Farm 傳回錯誤。 Device Farm returned an error.

報告多個測試的結果

如果您選擇已完成的執行，裝置伺服器陣列會顯示測試結果摘要圖表。

Device Farm test results summary graph.

例如，此測試運行結果圖表顯示運行有 4 個停止的測試，1 個失敗的測試和 10 個成功的測試。

圖表始終以顏色編碼和標記。

檢視報告

您可以在 Device Farm 主控台中檢視測試結果。

檢視測試回合摘要頁面

  1. 登入 Device Farm 主控台，網址為 https://console.aws.amazon.com/devicefarm。

  2. 在瀏覽窗格中，選擇 [行動裝置測試]，然後選擇 [專案]。

  3. 在專案清單中，選擇用於執行的專案。

    提示

    若要依名稱篩選專案清單，請使用搜尋列。

  4. 選擇已完成的執行來檢視其摘要報告頁面。

  5. 測試執行摘要頁面會顯示測試結果的概觀。

    • Unique problems (唯一問題) 區段會列出唯一警告和失敗。若要檢視唯一問題，請按照檢視唯一的問題報告中的指示。

    • Devices (裝置) 區段會顯示每個裝置的測試總數，依結果排列。

      Device Farm device summary results.

      在這個例子中，有幾個設備。在第一個表條目, 在谷歌像素 4 XL 設備運行 Android 版本 10 報告了三個成功的測試，花了 02:36 分鐘來運行.

      若要依裝置檢視結果，請按照檢視裝置報告中的指示。

    • 螢幕擷取畫面區段會顯示在執行期間擷取的任何螢幕擷取畫面清單，依裝置分組。

    • 在解析結果部分，您可以下載解析結果。

檢視唯一的問題報告

  1. 在 Unique problems (唯一問題) 中，選擇您想要檢視的問題。

  2. 選擇裝置。報告會顯示問題的相關資訊。

    Video (視訊) 區段顯示測試的可下載影片錄製。

    「結果」段落會顯示測試結果。狀態會以結果圖示表示。如需詳細資訊，請參閱 報告個別測試的結果。

    [記錄] 區段會顯示測試期間 Device Farm 所記錄的任何資訊。若要檢視此資訊，請按照在報告中檢視問題、裝置、套件或測試的記錄資訊中的指示。

    [效能] 索引標籤會顯示測試期間裝置伺服器陣列產生之任何效能資料的相關資 若要檢視此效能資料，請按照在報告中檢視問題、裝置、套件或測試的效能資料中的指示。

    「檔案」標籤會顯示您可以下載的任何測試相關檔案 (例如記錄檔) 的清單。若要下載檔案，請在清單中選擇檔案的連結。

    [螢幕擷取畫面] 索引標籤會顯示測試期間擷取 Device Farm 列的任何螢幕擷取

檢視裝置報告

  • 在 Devices (裝置) 區段中，選擇裝置。

    Video (視訊) 區段顯示測試的可下載影片錄製。

    「組件」 段落顯示一個表格，其中包含裝置之組件的相關資訊。

    在此表格中，「測試結果」資料欄會依照在裝置上執行之每個測試套件的結果總結測試數目。該數據還具有圖形組件。如需詳細資訊，請參閱 報告多個測試的結果。

    若要依照套件檢視完整結果，請遵循中的指示檢視測試套件報告。

    [記錄] 區段會顯示裝置伺服器陣列在執行期間為裝置記錄的任何資訊。若要檢視此資訊，請按照在報告中檢視問題、裝置、套件或測試的記錄資訊中的指示。

    效能段落會顯示在執行期間為裝置產生之「Device Farm」之任何效能資料的相關資訊。若要檢視此效能資料，請按照在報告中檢視問題、裝置、套件或測試的效能資料中的指示。

    「檔案」段落會顯示裝置的組件清單，以及您可以下載的任何關聯檔案 (例如日誌檔)。若要下載檔案，請在清單中選擇檔案的連結。

    螢幕擷取畫面區段會顯示裝置執行期間擷取的任何螢幕擷取畫面清單 (依套件分組)。

檢視測試套件報告

  1. 在 Devices (裝置) 區段中，選擇裝置。

  2. 在「套件」區段中，從表格中選擇組件。

    Video (視訊) 區段顯示測試的可下載影片錄製。

    「測試」段落顯示一個表格，其中包含組件中測試的相關資訊。

    在表格中，「測試結果」欄會顯示結果。該數據還具有圖形組件。如需詳細資訊，請參閱 報告多個測試的結果。

    若要依測試檢視完整結果，請遵循中的指示檢視測試報告。

    「記錄」區段會顯示在執行套件期間「Device Farm」所記錄的任何資訊。若要檢視此資訊，請按照在報告中檢視問題、裝置、套件或測試的記錄資訊中的指示。

    「效能」段落顯示在執行組件期間「Device Farm」所產生之任何效能資料的相關資訊。若要檢視此效能資料，請按照在報告中檢視問題、裝置、套件或測試的效能資料中的指示。

    「檔案」段落會顯示組件的測試清單，以及您可以下載的任何相關檔案 (例如日誌檔)。若要下載檔案，請在清單中選擇檔案的連結。

    螢幕擷取畫面區段會顯示套件執行期間 Device Farm 列擷取的任何螢幕擷取畫面清單，並依測試分組。

檢視測試報告

  1. 在 Devices (裝置) 區段中，選擇裝置。

  2. 在 Suites (套件) 區段中，選擇套件。

  3. 在「測試」區段中，選擇測試。

  4. Video (視訊) 區段顯示測試的可下載影片錄製。

    「結果」段落會顯示測試結果。狀態會以結果圖示表示。如需詳細資訊，請參閱 報告個別測試的結果。

    [記錄] 區段會顯示測試期間 Device Farm 所記錄的任何資訊。若要檢視此資訊，請按照在報告中檢視問題、裝置、套件或測試的記錄資訊中的指示。

    [效能] 索引標籤會顯示測試期間裝置伺服器陣列產生之任何效能資料的相關資 若要檢視此效能資料，請按照在報告中檢視問題、裝置、套件或測試的效能資料中的指示。

    「檔案」標籤會顯示您可以下載的任何測試相關檔案 (例如記錄檔) 的清單。若要下載檔案，請在清單中選擇檔案的連結。

    [螢幕擷取畫面] 索引標籤會顯示測試期間擷取 Device Farm 列的任何螢幕擷取

在報告中檢視問題、裝置、套件或測試的效能資料

注意

Device Farm 目前僅會收集 Android 裝置的裝置效能資料。

「效能」標籤會顯示下列資訊：

  • CPU 圖表會顯示應用程式在選取的問題、裝置、套件或測試 (沿垂直軸) 期間 (沿著垂直軸) 在單一核心上使用的 CPU 百分比 (沿著水平軸)。

    垂直軸是以百分比表示，從 0% 到最大的記錄百分比。

    如果應用程式已使用多個核心，則此百分比可能超過 100%。例如，如果三個核心各為 60% 用量，則此百分比會顯示為 180%。

  • 記憶體圖表會顯示應用程式在選取的問題、裝置、套件或測試 (沿垂直軸) 一段時間 (沿著水平軸) 期間使用的 MB 數。

    垂直軸是以 MB 表示，從 0 MB 到所記錄之 MB 的數目上限。

  • Threads (執行緒) 圖形顯示在選取的問題、裝置、套件或測試期間 (沿著垂直軸) 隨著時間 (沿著水平軸) 使用的執行緒數目。

    垂直軸以螺紋數表示，從零執行緒到記錄的最大執行緒數目。

在所有情況下，對於選取的問題、裝置、套件或測試，從開始執行到結束執行，水平軸都會以秒為單位表示。

若要顯示特定資料點的資訊，請沿著水平軸暫停在所需之秒上的所需圖形中。

在報告中檢視問題、裝置、套件或測試的記錄資訊

「記錄檔」段落會顯示下列資訊：

  • Source (來源) 代表日誌項目的來源。可能的值包括：

    • 線束代表 Device Farm 所建立的記錄項目。這些日誌項目通常是在啟動和停止事件期間建立的。

    • 裝置代表裝置建立的記錄項目。若為 Android，這些是與 logcat 相容的日誌項目。若為 iOS，這些是與 syslog 相容的日誌項目。

    • Test (測試) 代表測試或其測試架構所建立的日誌項目。

  • Time (時間) 代表第一個日誌項目與此日誌項目之間的經歷時間。此時間是以 MM:SS.SSS 格式表示，其中 M 代表分鐘，而 S 代表秒。

  • PID 代表已建立日誌項目的程序識別碼 (PID)。裝置上由應用程式建立的所有日誌項目都具有相同的 PID。

  • Level (層級) 代表日誌項目的記錄層級。例如，Logger.debug("This is a message!")記錄的層級Debug。以下是可能值：

    • 警示

    • 嚴重

    • 偵錯

    • Emergency (緊急)

    • 錯誤

    • Errored (錯誤)

    • 失敗

    • Info (資訊)

    • 內部 (Internal)

    • Notice (注意)

    • Passed (通過)

    • 略過

    • 已停止

    • 詳細資訊

    • Warned (警告)

    • 警告

  • Tag (標籤) 代表日誌項目的任意中繼資料。例如，Android logcat 可以使用此項，描述系統哪個部分已建立日誌項目 (例如，ActivityManager)。

  • Message (訊息) 代表日誌項目的訊息或資料。例如，Logger.debug("Hello, World!")記錄的訊息"Hello, World!"。

若要只顯示局部資訊：

  • 若要顯示符合特定欄值的所有記錄項目，請在搜尋列中輸入值。例如，若要顯示「來源」值為的所有記錄項目Harness，請Harness在搜尋列中輸入。

  • 若要從資料欄標頭方塊中移除所有字元，請選擇資料欄標頭方塊中的 X。從欄標題方塊中移除所有字元與在欄標題方塊*中輸入的作用相同。

若要下載裝置的所有記錄資訊，包括您執行的所有套件和測試，請選擇 [下載記錄]。