パイプラインを処理する Amazon EMR クラスターの特定
EMRCluster
または EMRActivity
が失敗して、AWS Data Pipeline コンソールに表示されるエラー情報が明確でない場合は、Amazon EMR コンソールを使用して、パイプラインを処理する Amazon EMR クラスターを特定することができます。これは、発生したエラーの詳細について記録した Amazon EMR のログを見つけるのに役立ちます。
詳細な Amazon EMR エラー詳細情報を表示するには
-
AWS Data Pipeline コンソールで、パイプラインインスタンスの横にある三角形を選択し、インスタンスの詳細を展開します。
-
[View execution details] (実行の詳細の表示) を選択し、コンポーネントの横にある三角形を選択します。
-
[Details] (詳細) 列の [More...] (さらに...) を選択します。情報画面が開き、コンポーネントの詳細情報がリストされます。画面から [instanceParent] 値 (
@EmrActivityId_xiFDD_2017-09-30T21:40:13
など) を見つけてコピーします。 -
Amazon EMR コンソールに移動して、名前が [instanceParent] の値と一致するクラスターを探し、[Debug] (デバッグ) を選択します。
注記
[Debug] ボタンが機能するには、パイプライン定義で EmrActivity の
enableDebugging
オプションをtrue
に設定し、EmrLogUri
オプションに有効なパスを設定しておく必要があります。 -
これで、どの Amazon EMR クラスターにパイプラインの失敗の原因となったエラーが含まれるかが判明しました。Amazon EMR 開発者ガイドに記載されているトラブルシューティングのヒントに従ってください。