查看 AWS Glue 作业的连续日志记录 - AWS Glue

查看 AWS Glue 作业的连续日志记录

您可以使用 AWS Glue 控制台或 Amazon CloudWatch 控制台查看实时日志。

使用 AWS Glue 控制台控制面板查看实时日志

  1. 登录 AWS Management Console，然后打开 AWS Glue 控制台，网址为：https://console.aws.amazon.com/glue/。

  2. 在导航窗格中，选择作业。

  3. 添加或启动现有作业。选择操作、运行作业。

    在您开始运行某个作业时，系统会将您导航到包含该运行作业相关信息的页面：

    • 日志显示之前的已聚合应用程序日志。

    • 连续日志记录选项卡在运行的作业初始化了 glueContext 时，显示一个实时进度栏。

    • 连续日志记录选项卡还包含驱动程序日志，这会捕获实时 Apache Spark 驱动程序日志，以及在作业运行时使用 AWS Glue 应用程序日志记录程序记录的脚本中的应用程序日志。

  4. 对于较早的任务，您还可以选择 Logs (日志)，在 Job History (任务历史记录) 视图下面查看实时日志。此操作会将您转到显示所有 Spark 进度栏、执行程序及该任务运行的进度栏日志流的 CloudWatch 控制台。

使用 CloudWatch 控制台控制面板查看实时日志

  1. 访问 https://console.aws.amazon.com/cloudwatch/ 打开 CloudWatch 控制台。

  2. 在导航窗格选择日志。

  3. 选择 /aws-glue/jobs/logs-v2/ 日志组。

  4. 在筛选条件框中，粘贴作业运行 ID。

    您可以查看驱动程序日志、执行程序日志和进度栏（如果使用 标准筛选条件）。