本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
AWS Glue 任务的连续日志记录
AWS Glue 提供对 AWS Glue 任务进行实时的连续日志记录。您可以在亚马逊中查看实时 Apache Spark 作业日志 CloudWatch,包括驱动程序日志、执行者日志和 Apache Spark 任务进度条。查看实时日志可让您更好地了解正在运行的任务。
当您启动AWS Glue作业时,它会在 Spark 应用程序开始运行后将实时日志信息发送到 CloudWatch (每 5 秒钟以及每次执行器终止之前)。您可以在AWS Glue控制台或控制 CloudWatch 台仪表板上查看日志。
连续日志记录功能包括以下特性:
连续日志记录
自定义脚本日志记录程序,用于记录特定于应用程序的消息
控制台进度栏,用于跟踪当前 AWS Glue 任务的运行状态
有关如何在 AWS Glue 2.0 版中支持持续日志记录的信息,请参阅运行 Spark ETL 任务,减少启动时间。
您可以限制 IAM 角色对 CloudWatch 日志组或流的访问权限以读取日志。有关限制访问的更多详细信息,请参阅文档中的对 CloudWatch 日志使用基于身份的策略(IAM 策略)。 CloudWatch
注意
启用连续日志记录并创建其他 CloudWatch 日志事件时,可能会产生额外费用。有关更多信息,请参阅 Amazon CloudWatch 定价