AWS Glue 任务的连续日志记录 - AWS Glue

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

AWS Glue 任务的连续日志记录

AWS Glue 提供对 AWS Glue 任务进行实时的连续日志记录。您可以在亚马逊中查看实时 Apache Spark 作业日志 CloudWatch,包括驱动程序日志、执行者日志和 Apache Spark 任务进度条。查看实时日志可让您更好地了解正在运行的任务。

当您启动AWS Glue作业时,它会在 Spark 应用程序开始运行后将实时日志信息发送到 CloudWatch (每 5 秒钟以及每次执行器终止之前)。您可以在AWS Glue控制台或控制 CloudWatch 台仪表板上查看日志。

连续日志记录功能包括以下特性:

  • 连续日志记录

  • 自定义脚本日志记录程序,用于记录特定于应用程序的消息

  • 控制台进度栏,用于跟踪当前 AWS Glue 任务的运行状态

有关如何在 AWS Glue 2.0 版中支持持续日志记录的信息,请参阅运行 Spark ETL 任务,减少启动时间

您可以限制 IAM 角色对 CloudWatch 日志组或流的访问权限以读取日志。有关限制访问的更多详细信息,请参阅文档中的对 CloudWatch 日志使用基于身份的策略(IAM 策略)。 CloudWatch

注意

启用连续日志记录并创建其他 CloudWatch 日志事件时,可能会产生额外费用。有关更多信息,请参阅 Amazon CloudWatch 定价