本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
AWS Glue 任务的连续日志记录
AWS Glue 提供对 AWS Glue 任务进行实时的连续日志记录。您可在 Amazon CloudWatch 中查看实时 Apache Spark 任务日志,包括驱动程序日志、执行程序日志和 Apache Spark 任务进度栏。查看实时日志可让您更好地了解正在运行的任务。
当您启动 AWS Glue 任务时,它会在 Spark 应用程序开始运行之后向 CloudWatch 发送实时日志记录信息(在每次执行程序终止之前,每 5 秒发送一次)。您可在 AWS Glue 控制台或 CloudWatch 控制台控制面板上查看日志。
连续日志记录功能包括以下特性:
连续日志记录
自定义脚本日志记录程序,用于记录特定于应用程序的消息
控制台进度栏,用于跟踪当前 AWS Glue 任务的运行状态
有关如何在 AWS Glue 2.0 版中支持持续日志记录的信息,请参阅运行 Spark ETL 任务,减少启动时间。
您可以将对 CloudWatch 日志组或 IAM 角色的流的访问限制为读取日志。有关限制访问的更多详细信息,请参阅 CloudWatch 文档中的 将基于身份的策略(IAM policy)用于 CloudWatch Logs。
注意
启用连续日志记录并创建 CloudWatch 日志事件时,可能需要支付额外费用。有关更多信息,请参阅 Amazon CloudWatch 定价