主控台中的 AWS Glue 任務執行狀態

您可在 AWS Glue 擷取、轉換和載入 (ETL) 任務執行中或停止之後，檢視其狀態。您可以使用 AWS Glue 主控台檢視狀態。如需有關任務執行狀態的詳細資訊，請參閱 AWS Glue 任務執行狀態。

存取任務監控儀表板

您可以在 ETL 任務下的AWS Glue導覽窗格中選擇任務執行監控連結，以存取任務監控儀表板。

任務監控儀表板的概觀

任務監控儀表板提供任務執行的整體摘要，其中狀態為執行中、已取消、成功或失敗。其他圖標可提供整體任務執行成功率、任務的預估 DPU 使用量、依任務類型、工作者類型及日期劃分的任務狀態計數細目。

圖標中的圖形是互動式。您可以選擇圖形中的任何區塊來執行篩選，該篩選僅顯示頁面底部任務執行資料表中的那些任務。

您可以變更此頁面上所顯示資訊的日期範圍，方法是使用日期範圍選取器。當您變更日期範圍時，資訊圖標會調整以顯示目前日期之前指定天數的值。如果您從日期範圍選取器選擇自訂，則也可以使用特定日期範圍。

任務執行檢視

注意

您可以存取工作流程和任務執行的 90 天任務執行歷史記錄。

任務執行資源清單會顯示指定日期範圍和篩選的任務。

您可以根據其他準則篩選任務，例如狀態、工作者類型、任務類型和任務名稱。在資料表頂端的篩選方塊中，您可以輸入要用作篩選的文字。當您輸入文字時，資料表結果會以包含相符文字的列進行更新。

您可以從任務監控儀表板上的圖形中選擇元素，來檢視任務的子集。例如，如果您在任務執行摘要圖標中選擇執行中的任務數目，接著任務執行清單僅會顯示目前狀態為 Running 的任務。如果您選擇列在工作者類型明細長條圖中的其中一項，則只有具有相符工作者類型和狀態的任務執行會顯示在任務執行清單中。

任務執行資源清單會顯示任務執行的詳細資訊。您可以選擇資料欄標題來排序資料表中的資料列。此資料表包含以下資訊：

屬性	描述
任務名稱	任務的名稱。
Type	任務環境的類型： Glue ETL：在由 AWS Glue 管理的 Apache Spark 環境中執行。 Glue 串流：在 Apache Spark 環境中執行，並在資料串流上執行 ETL。 Python shell：將 Python 指令碼作為 Shell 執行。
開始時間	此次任務執行開始的日期和時間。
結束時間	此次任務執行完成的日期和時間。
執行狀態	任務執行目前的狀態。值可以為： STARTING RUNNING STOPPING STOPPED SUCCEEDED FAILED TIMEOUT
執行時間	任務執行消耗資源所需的時間量。
容量	配置給此任務執行的 AWS Glue 資料處理單位 (DPU) 數目。如需容量規劃的詳細資訊，請參閱 AWS Glue 開發人員指南中的 DPU 容量規劃監控。
工作者類型	在任務執行時配置的預先定義工作者類型。值可以為 G.1X、G.2X、G.4X 或 G.8X。 G.1X – 選擇這種類型時，您也要提供 工作者數目 的值。每個工作者都會映射到 1 個 DPU (4 個 vCPU、16 GB 記憶體)，外加 84 GB 磁碟 (大約 34 GB 可用)。我們建議記憶體密集型任務採用這種工作者類型。此為 AWS Glue 2.0 版本或更新版本任務的預設工作者類型。 G.2X – 選擇這種類型時，您也要提供 工作者數目 的值。每個工作者都會映射到 2 個 DPU (8 個 vCPU、32 GB 記憶體)，外加 128 GB 磁碟 (大約 77 GB 可用)。我們建議記憶體密集型任務和執行機器學習轉換的任務採用這種工作者類型。 G.4X – 選擇這種類型時，您也要提供 工作者數目 的值。每個工作者都會映射到 4 個 DPU (16 個 vCPU、64 GB 記憶體)，外加 256 GB 磁碟 (大約 235 GB 可用)。我們建議工作負載包含最嚴苛轉換、彙總、聯結和查詢的任務採用這種工作者類型。此工作者類型僅適用於以下 AWS 區域內 AWS Glue 3.0 版或更新版本的 Spark ETL 任務：美國東部 (俄亥俄)、美國東部 (維吉尼亞北部)、美國西部 (奧勒岡)、亞太區域 (新加坡)、亞太區域 (雪梨)、亞太區域 (東京)、加拿大 (中部)、歐洲 (法蘭克福)、歐洲 (愛爾蘭) 和歐洲 (斯德哥爾摩)。 G.8X – 選擇這種類型時，您也要提供 工作者數目 的值。每個工作者都會映射到 8 個 DPU (32 個 vCPU、128 GB 記憶體)，外加 512 GB 磁碟 (大約 487 GB 可用)。我們建議工作負載包含最嚴苛轉換、彙總、聯結和查詢的任務採用這種工作者類型。此工作者類型僅適用於 3.0 AWS Glue版或更新版本的 Spark ETL 任務，適用於與G.4X工作者類型支援的相同 AWS 區域。
DPU 時數	任務執行的預估 DPU 數目。DPU 是處理能力的相對測量。DPU 用來判斷執行任務的費用。如需詳細資訊，請參閱 AWS Glue 定價頁面。

您可以選取清單中的任何任務執行，並檢視其他資訊。選擇任務執行，然後進行下列任一項目：

• 選擇動作選單以及檢視任務選項，以在視覺化編輯器中檢視任務。

• 選擇動作選單以及停止執行選項，停止任務的目前執行。

• 選擇檢視 CloudWatch Logs 按鈕以檢視該任務的任務執行日誌。

• 選擇檢視詳細資料以檢視任務執行詳細資料頁面。

檢視任務執行日誌

您可以用多種方式來檢視任務日誌：

• 在監控頁面的任務執行資料表中，選擇任務執行，然後選擇檢視 CloudWatch Logs。

• 在視覺化任務編輯器中，在執行索引標籤中，選擇要檢視日誌的超連結：

  • 日誌 – 啟用任務執行的連續記錄時，所寫入 Apache Spark 任務日誌的連結。當您選擇此連結時，它會帶您前往 Amazon CloudWatch 日誌群組中的/aws-glue/jobs/logs-v2日誌。預設情況下，日誌會排除無用的 Apache Hadoop YARN 活動訊號和 Apache Spark 驅動程式或執行器日誌訊息。如需持續記錄的詳細資訊，請參閱 AWS Glue 開發人員指南中的持續記錄 AWS Glue 任務。

  • 錯誤日誌 – 連結至此次任務執行時寫入 stderr 的日誌。當您選擇此連結時，它會帶您前往 /aws-glue/jobs/error 日誌群組中的 Amazon CloudWatch 日誌。您可以使用這些日誌來檢視任務執行期間所發生任何錯誤的詳細資訊。

  • 輸出日誌 – 連結至此次任務執行時所寫入 stdout 的日誌。當您選擇此連結時，它會帶您前往 /aws-glue/jobs/output 日誌群組中的 Amazon CloudWatch 日誌。您可以使用這些日誌來查看在 AWS Glue Data Catalog 中建立的資料表的所有詳細資訊，以及所發生的任何錯誤。

檢視任務執行的詳細資訊

您可以在監控頁面的任務執行清單選擇任務，然後選擇檢視執行詳細資訊以查看該任務執行的詳細資訊。

任務執行詳細資訊頁面上顯示的資訊包括：

屬性	描述
任務名稱	任務的名稱。
執行狀態	任務執行目前的狀態。值可以為： STARTING RUNNING STOPPING STOPPED SUCCEEDED FAILED TIMEOUT
Glue 版本	任務執行所使用的 AWS Glue 版本。
最近嘗試	此任務執行的自動重試嘗試次數。
開始時間	此次任務執行開始的日期和時間。
結束時間	此次任務執行完成的日期和時間。
開始時間	準備執行任務所花的時間。
執行時間	執行任務指令碼所花的時間。
觸發條件名稱	與任務相關聯的觸發名稱。
上次修改時間	上次修改任務的日期。
安全組態	任務的安全組態，包括 Amazon S3 加密、CloudWatch 加密和任務書籤加密設定。
逾時	任務執行逾時閾值。
已配置容量	配置給此任務執行的 AWS Glue 資料處理單位 (DPU) 數目。如需容量規劃的詳細資訊，請參閱 AWS Glue 開發人員指南中的 DPU 容量規劃監控。
最大容量	任務執行的可用容量上限。
工作者數目	用於任務執行的工作者數量。
工作者類型	配置給任務執行的預先定義工作者類型。值可以為 G.1X 或 G.2X。 G.1X – 選擇這種類型時，您也要提供 工作者數目 的值。每個工作者都會映射到 1 個 DPU (4 個 vCPU、16 GB 記憶體、64 GB 磁碟)，並為每個工作者提供 1 個執行器。我們建議記憶體密集型任務採用這種工作者類型。此為 AWS Glue 2.0 版本或更新版本任務的預設工作者類型。 G.2X – 選擇這種類型時，您也要提供 工作者數目 的值。每個工作者都會映射到 2 個 DPU (8 個 vCPU、32 GB 記憶體、128 GB 磁碟)，並為每個工作者提供 1 個執行器。我們建議記憶體密集型任務和執行機器學習轉換的任務採用這種工作者類型。
日誌	連續記錄之任務日誌的連結 (/aws-glue/jobs/logs-v2)。
輸出日誌	任務輸出日誌檔案的連結 (/aws-glue/jobs/output)。
錯誤日誌	任務錯誤日誌檔案的連結 (/aws-glue/jobs/error)。

也可以檢視下列其他項目，可在檢視最近工作執行的資訊時使用它們。如需詳細資訊，請參閱檢視最近任務執行的資訊。

• 輸入引數

• 連續日誌

• 指標：您可以查看基本指標的視覺效果。如需有關包含之指標的詳細資訊，請參閱 檢視 Spark 任務執行的 Amazon CloudWatch 指標。

• Spark UI – 您可以在 Spark UI 中將工作的 Spark 日誌視覺化。如需有關使用 Spark Web UI 的詳細資訊，請參閱 使用 Apache Spark web UI 監控任務。必須依照 為 AWS Glue 任務啟用 Apache Spark web UI 中的程序來啟用此功能。

檢視 Spark 任務執行的 Amazon CloudWatch 指標

在任務執行的詳細資訊頁面上，您可以在執行詳細資訊區段下方檢視任務指標。 Amazon CloudWatch 會針對每個任務執行AWS Glue Studio傳送任務指標至 。

AWS Glue Amazon CloudWatch 每 30 秒向 報告指標。 AWS Glue 指標表示先前回報數值中的差異值。適當時，指標儀表板將會彙總 (加總) 30 秒的值，以取得最後完整一分鐘的值。不過， AWS Glue 傳遞至 的 Apache Spark 指標 Amazon CloudWatch 通常是絕對值，代表報告時的目前狀態。

注意

您必須將 帳戶設定為存取 Amazon CloudWatch。

指標提供任務執行的相關資訊，例如：

• ETL 資料移動 – 讀取或寫入 Amazon S3 的位元組數。

• 記憶體設定檔：使用的堆積 – Java 虛擬機器 (JVM) 堆積所使用的記憶體位元組數目。

• 記憶體設定檔：堆積使用率 – JVM 堆積使用的記憶體分數 (比例：0–1)，以百分比顯示。

• CPU 負載 – 使用的 CPU 系統負載分數 (比例：0–1)，以百分比顯示。

檢視 Ray 任務執行的 Amazon CloudWatch 指標

在任務執行的詳細資訊頁面上，您可以在執行詳細資訊區段下方檢視任務指標。 Amazon CloudWatch 會針對每個任務執行AWS Glue Studio傳送任務指標至 。

AWS Glue Amazon CloudWatch 每 30 秒向 報告指標。 AWS Glue 指標表示先前回報數值中的差異值。適當時，指標儀表板將會彙總 (加總) 30 秒的值，以取得最後完整一分鐘的值。不過， AWS Glue 傳遞至 的 Apache Spark 指標 Amazon CloudWatch 通常是絕對值，代表報告時的目前狀態。

注意

您必須將 帳戶設定為存取 Amazon CloudWatch，如 中所述。

在 Ray 任務中，您可以檢視下列彙總指標圖表。您可以使用這些資料建立叢集和任務的設定檔，並可存取有關每個節點的詳細資訊。支援這些圖表的時間序列資料可在 CloudWatch 中取得以供進一步分析。

任務設定檔：任務狀態

顯示系統中的 Ray 任務數量。每個任務生命週期都有自己的時間序列。

任務設定檔：任務名稱

顯示系統中的 Ray 任務數量。只會顯示擱置中和作用中的任務。每種類型的任務 (依名稱) 都有自己的時間序列。

叢集設定檔：使用中的 CPU

顯示使用的 CPU 核心數量。每個節點都有自己的時間序列。節點由 IP 地址識別，這些 IP 地址是暫時的，僅用於識別。

叢集設定檔：物件存放區記憶體使用量

顯示 Ray 物件快取的記憶體使用量。每個記憶體位置 (實體記憶體、磁碟上的快取，以及 Amazon S3 中的溢出) 都有自己的時間序列。物件存放區管理叢集中所有節點的資料儲存。如需詳細資訊，請參閱 Ray 文件中的物件。

叢集設定檔：節點計數

顯示為叢集佈建的節點數量。

節點詳細資訊：CPU 使用量

以百分比顯示每個節點的 CPU 使用率。每個系列都會顯示節點上所有核心的 CPU 使用率彙總百分比。

節點詳細資訊：記憶體使用量

顯示每個節點的記憶體使用量 (GB)。每個系列都會顯示節點上所有程序之間的彙總記憶體，包括 Ray 任務和 Plasma 存放程序。這不會反映存放到磁碟或溢出到 Amazon S3 的物件。

節點詳細資訊：磁碟使用量

顯示每個節點上的磁碟使用量 (GB)。

節點詳細資訊：磁碟 I/O 速度

顯示每個節點上的磁碟 I/O (KB/s)。

節點詳細資訊：網路 I/O 輸送量

顯示每個節點上的網路 I/O (KB/s)。

節點詳細資訊：Ray 元件的 CPU 使用量

以核心分數的方式顯示 CPU 使用量。每個節點上的每個 Ray 元件都有自己的時間序列。

節點詳細資訊：Ray 元件的記憶體使用量

顯示記憶體使用量 (GiB)。每個節點上的每個 Ray 元件都有自己的時間序列。