エラーログを見つける

このセクションでは、AWS Data Pipeline が書き込む各種ログを見つける方法を説明しています。ログを使用して、特定の障害およびエラーの原因を判断することができます。

パイプラインのログ

永続的な場所にログファイルを作成するようにパイプラインを設定することをお勧めします。以下の例では、パイプラインの Default オブジェクトの pipelineLogUri フィールドを使用して、すべてのパイプラインコンポーネントがデフォルトで Amazon S3 ログの場所を使用するようにしています (特定のパイプラインコンポーネントでログの場所を設定することにより、デフォルトから変更することができます)。

注記

Task Runner はデフォルトで別の場所にログを保存します。このログは、パイプラインが終了し、Task Runner を実行するインスタンスが終了すると、使用できないことがあります。詳細については、「Task Runnerのログの確認」を参照してください。

パイプライン JSON ファイルで AWS Data Pipeline CLI を使用してログの場所を設定するには、パイプラインファイルを次のテキストで開始します。

{ "objects": [
{
  "id":"Default",
  "pipelineLogUri":"s3://mys3bucket/error_logs"
},
...

パイプラインログディレクトリを設定すると、Task Runner は設定されたディレクトリに、Task Runner ログに関する以前のセクションで説明されているのと同じ書式とファイル名で、ログのコピーを作成します。

Hadoop ジョブと Amazon EMR ステップログ

HadoopActivity、HiveActivity、PigActivity などの Hadoop ベースのアクティビティを使用することによって、ランタイムスロット hadoopJobLog に返された場所で Hadoop ジョブログを確認できます。EmrActivity には独自のログ記録機能があり、これらのログは、Amazon EMR によって選択されランタイムスロット emrStepLog によって返された場所を使用して保存されます。詳細については、Amazon EMR 開発者ガイドのログファイルを表示するを参照してください。