AWS Glue 作业运行状态 - AWS Glue

AWS Glue 作业运行状态

您可以查看 AWS Glue 提取、转换和加载(ETL)任务在运行时或停止后的状态。您可以使用 AWS Glue 控制台、AWS Command Line Interface(AWS CLI)或 AWS Glue API 中的 GetJobRun action (GetJobRun 操作) 查看状态。

可能的任务运行状态为 STARTINGRUNNINGSTOPPINGSTOPPEDSUCCEEDEDFAILEDERRORWAITINGTIMEOUT

下表列出了指示异常任务终止的状态。

任务运行状态 描述
FAILED 任务超过了允许的最大并发运行数,或以未知的退出代码终止。
ERROR 工作流、计划触发器或事件触发器试图运行已删除的任务。
TIMEOUT 任务运行时间超过了其指定的超时值。
WAITING 正等待资源的作业运行。

WAITING 状态表示作业运行正在等待资源。下表描述了不同作业类别的等待行为。

作业类型 行为
Spark 作业(标准) 如果您选择加入 AWS Glue 作业运行排队,则作业可能会进入“等待”状态,如在 AWS Glue 中为 Spark 作业配置作业属性中所述。由于您的账户的服务配额或您所在区域的容量限制,作业运行可能处于“等待”状态,并遇到以下错误情况之一:
  • 超出了最大每账户并发作业运行数

  • 超出了最大每作业并发作业运行数(包括账户级别服务限额以及您使用 MaxConcurrentRuns 指定的作业限制)

  • 超出了最大并发计算(DPU 使用量)限制

  • 资源不可用

如果没有足够的资源来启动作业运行,则无论服务配额如何,作业也可能会进入“等待”状态。
Spark 作业(灵活) 如果服务无法获取足够的资源来启动运行,则新任务运行将处于 WAITING(等待)状态,这会延迟运行的开始。运行将最长 20 分钟处于 WAITING(等待)状态(超时由服务控制)。15 分钟后,该服务将尝试强制启动,根据可用容量,运行可能会开始或失败,并显示相应的错误消息。
Python shell 作业 行为与使用 Spark 的标准作业相同。

以下状态图概述了 AWS Glue 作业生命周期中预期的状态转换。此信息适用于所有作业类型。

概述 AWS Glue 作业可能经历的状态转换的状态图。