查找错误日志 - AWS Data Pipeline
管道日志Hadoop 作业和 Amazon EMR 步骤日志

AWS Data Pipeline 不再向新客户提供。的现有客户 AWS Data Pipeline 可以继续照常使用该服务。了解更多

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

查找错误日志

此部分说明如何查找 AWS Data Pipeline 写入的各种日志，您可以使用这些日志来确定特定故障和错误的源头。

管道日志

我们建议您配置管道在持久性位置中创建日志文件，如以下示例中，您在管道的 Default 对象上使用 pipelineLogUri 字段，导致所有管道组件默认使用 Amazon S3 日志位置（您可以在特定管道组件中配置日志位置来覆盖此项）。

注意

任务运行程序默认将其日志存储在另一位置，在管道完成并且运行任务运行程序的实例终止时，该位置可能不可用。有关更多信息，请参阅验证任务运行程序日志记录。

要使用 AWS Data Pipeline CLI 在管道 JSON 文件中配置日志位置，请使用以下文本作为管道文件的开头：

{ "objects": [
{
  "id":"Default",
  "pipelineLogUri":"s3://mys3bucket/error_logs"
},
...

在您配置了管道日志目录之后，任务运行程序在目录中创建日志的副本，使用与之前章节中所述的有关任务运行程序日志的相同格式设置和文件名称。

Hadoop 作业和 Amazon EMR 步骤日志

对于任何基于 Hadoop 的活动，例如 HadoopActivity、HiveActivity 或 PigActivity，您可以在运行时槽 hadoopJobLog 中返回的位置查看 Hadoop 任务日志。 EmrActivity 有自己的日志记录功能，这些日志使用 Amazon EMR 选择的位置存储，由运行时槽 emrStepLog 返回。有关更多信息，请参见《Amazon EMR 开发人员指南》的查看日志文件。