选择您的 Cookie 首选项

我们使用必要 Cookie 和类似工具提供我们的网站和服务。我们使用性能 Cookie 收集匿名统计数据,以便我们可以了解客户如何使用我们的网站并进行改进。必要 Cookie 无法停用,但您可以单击“自定义”或“拒绝”来拒绝性能 Cookie。

如果您同意,AWS 和经批准的第三方还将使用 Cookie 提供有用的网站功能、记住您的首选项并显示相关内容,包括相关广告。要接受或拒绝所有非必要 Cookie,请单击“接受”或“拒绝”。要做出更详细的选择,请单击“自定义”。

查找错误日志 - AWS Data Pipeline

AWS Data Pipeline 不再向新客户提供。的现有客户 AWS Data Pipeline 可以继续照常使用该服务。了解更多

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

AWS Data Pipeline 不再向新客户提供。的现有客户 AWS Data Pipeline 可以继续照常使用该服务。了解更多

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

查找错误日志

此部分说明如何查找 AWS Data Pipeline 写入的各种日志,您可以使用这些日志来确定特定故障和错误的源头。

管道日志

我们建议您配置管道在持久性位置中创建日志文件,如以下示例中,您在管道的 Default 对象上使用 pipelineLogUri 字段,导致所有管道组件默认使用 Amazon S3 日志位置(您可以在特定管道组件中配置日志位置来覆盖此项)。

注意

任务运行程序默认将其日志存储在另一位置,在管道完成并且运行任务运行程序的实例终止时,该位置可能不可用。有关更多信息,请参阅验证任务运行程序日志记录

要使用 AWS Data Pipeline CLI 在管道 JSON 文件中配置日志位置,请使用以下文本作为管道文件的开头:

{ "objects": [ { "id":"Default", "pipelineLogUri":"s3://mys3bucket/error_logs" }, ...

在您配置了管道日志目录之后,任务运行程序在目录中创建日志的副本,使用与之前章节中所述的有关任务运行程序日志的相同格式设置和文件名称。

Hadoop 作业和 Amazon EMR 步骤日志

对于任何基于 Hadoop 的活动,例如 HadoopActivityHiveActivityPigActivity,您可以在运行时槽 hadoopJobLog 中返回的位置查看 Hadoop 任务日志。 EmrActivity 有自己的日志记录功能,这些日志使用 Amazon EMR 选择的位置存储,由运行时槽 emrStepLog 返回。有关更多信息,请参见《Amazon EMR 开发人员指南》的查看日志文件

隐私网站条款Cookie 首选项
© 2025, Amazon Web Services, Inc. 或其附属公司。保留所有权利。