AWS Glue 任務執行狀態 - AWS Glue

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

AWS Glue 任務執行狀態

您可在 AWS Glue 擷取、轉換和載入 (ETL) 任務執行中或停止之後,檢視其狀態。您可以使用AWS Glue主控台、AWS Command Line Interface (AWS CLI) 或 AWS Glue API 中的GetJobRun動作來檢視狀態。

可能的任務執行狀態為 STARTINGRUNNINGSTOPPINGSTOPPEDSUCCEEDEDFAILEDERRORWAITINGTIMEOUT

下表列出指出異常任務終止的狀態。

任務執行狀態 描述
FAILED 任務超過其允許並行執行的上限,或以未知的結束代碼終止。
ERROR 嘗試執行已刪除任務的工作流程、排程觸發程序或事件觸發程序。
TIMEOUT 任務執行時間超過其指定的逾時值。

WAITING 狀態表示任務執行正在等待資源。下表說明不同任務類別的等待行為。

工作類型 Behavior (行為)
Spark 任務 (標準) 尚未根據 maxRetries 組態設定重試的任務,可能會進入 WAITING 狀態。如果服務無法取得足夠的資源來開始執行,則新的任務執行將處於 WAITING 狀態。此狀態發生的可能原因,在於帳戶的服務配額或區域的容量限制發生下列其中一種錯誤案例:
  • 超過每個帳戶的並行任務執行上限

  • 超過每個任務的並行任務執行上限 (包括帳戶層級服務配額,以及您針對任務使用 MaxConcurrentRuns 所指定的限制)

  • 超過並行運算 (DPU 用量) 上限

  • 資源無法使用

如需有關 AWS Glue 服務配額的詳細資訊,請參閱 AWS Glue 端點和配額。AWS Glue 等待資源的時間可能會根據情況而有所不同。當任務嘗試取得資源時,可能會在非終端狀態之間轉換。最終,如果任務無法取得資源,將會轉換為 FAILED 狀態。AWSGlue 的重試上限為 15 分鐘或 10 次嘗試 (以先發生者為準)。
Spark 任務 (彈性) 如果服務無法取得足夠的資源來開始執行,則新的任務執行將處於 WAITING 狀態,這會執行延遲開始。執行將處於 WAITING 狀態,最多 20 分鐘 (逾時由服務控制)。15 分鐘後,服務將嘗試強制開始,並且,根據可用容量,執行可能會開始或失敗,並顯示適合的錯誤消息。
Python shell 任務 與使用 Spark 的標準任務相同的行為。

下列狀態圖概述了 AWS Glue 工作生命週期中預期的狀態轉換。此資訊適用於所有工作類型。

狀態圖,概述 AWS Glue 工作可能經歷的狀態轉換。