パイプラインを処理する Amazon EMR クラスターの特定 - AWS Data Pipeline

パイプラインを処理する Amazon EMR クラスターの特定

EMRCluster または EMRActivity が失敗して、AWS Data Pipeline コンソールに表示されるエラー情報が明確でない場合は、Amazon EMR コンソールを使用して、パイプラインを処理する Amazon EMR クラスターを特定することができます。これは、発生したエラーの詳細について記録した Amazon EMR のログを見つけるのに役立ちます。

詳細な Amazon EMR エラー詳細情報を表示するには
  1. AWS Data Pipeline コンソールで、パイプラインインスタンスの横にある三角形を選択し、インスタンスの詳細を展開します。

  2. [View execution details] (実行の詳細の表示) を選択し、コンポーネントの横にある三角形を選択します。

  3. [Details] (詳細) 列の [More...] (さらに...) を選択します。情報画面が開き、コンポーネントの詳細情報がリストされます。画面から [instanceParent] 値 (@EmrActivityId_xiFDD_2017-09-30T21:40:13 など) を見つけてコピーします。

  4. Amazon EMR コンソールに移動して、名前が [instanceParent] の値と一致するクラスターを探し、[Debug] (デバッグ) を選択します。

    注記

    [Debug] ボタンが機能するには、パイプライン定義で EmrActivity の enableDebugging オプションを true に設定し、EmrLogUri オプションに有効なパスを設定しておく必要があります。

  5. これで、どの Amazon EMR クラスターにパイプラインの失敗の原因となったエラーが含まれるかが判明しました。Amazon EMR 開発者ガイドに記載されているトラブルシューティングのヒントに従ってください。