作业监控和调试 - AWS Glue

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

作业监控和调试

您可以收集有关AWS Glue任务的指标，并在AWS Glue和亚马逊 CloudWatch控制台上将其可视化，以识别和修复问题。分析 AWS Glue 作业需要执行以下步骤：

  1. 在作业定义中启用 Job metrics (作业指标) 选项。您可以在 AWS Glue 控制台中启用分析，也可以作为作业的参数。有关更多信息，请参阅定义 Spark 作业的作业属性或AWS Glue 作业参数。

  2. 确认作业脚本初始化 GlueContext。例如，以下脚本代码段初始化 GlueContext 并显示在脚本中放置已分析代码的位置。此常规格式用于后续的调试方案。

    
import sys
from awsglue.transforms import *
from awsglue.utils import getResolvedOptions
from pyspark.context import SparkContext
from awsglue.context import GlueContext
from awsglue.job import Job
import time

## @params: [JOB_NAME]
args = getResolvedOptions(sys.argv, ['JOB_NAME'])

sc = SparkContext()
glueContext = GlueContext(sc)
spark = glueContext.spark_session
job = Job(glueContext)
job.init(args['JOB_NAME'], args)

...
...
code-to-profile
...
...


job.commit()

  3. 运行作业。

  4. 在 AWS Glue 控制台上显示相关指标，并确定 driver 或 executor 的异常指标。

  5. 使用已确定的指标缩小根本原因范围。

  6. 也可以选择使用已确定驱动程序或作业执行程序的日志流确认根本原因。

主题