YARN アプリケーション IDs を使用した EMR ステップのデバッグ - Amazon EMR
YARN アプリケーション ID

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

YARN アプリケーション IDs を使用した EMR ステップのデバッグ

YARN ベースのアプリケーションを起動するステップ (Spark ステップなど) をデバッグする効果的な方法の 1 つは、Amazon EMR コンソールで利用可能な Yarn アプリケーション ID 情報を活用することです。

YARN アプリケーション ID

Spark または他の YARN ベースのジョブを実行するステップの場合、EMR コンソールには、最後に実行された YARN アプリケーション ID がステップの詳細に表示されます。ステップが複数の YARN アプリケーションを起動すると、最後に実行されたアプリケーション ID のみが表示されます。

デバッグに Yarn アプリケーション IDs を使用する理由

  • EMR ステップを Yarn アプリケーションに直接関連付けることができます。問題のあるステップや興味深いステップに対応する Yarn アプリケーションを正確に特定します。

  • ライブモニタリングツールにアクセスできます。アプリケーション ID を使用して YARN ResourceManager Live UI を開くか、Spark History Server UI を使用して実行中または完了したアプリケーションを検査します。

  • 詳細なトラブルシューティングのログを取得できます。アプリケーション ID を使用して、そのアプリケーションに関連付けられた S3 に保存されているコンテナログを検索し、障害やパフォーマンスの問題をより深く掘り下げることができます。

この情報は、さまざまな方法で使用できます。

  1. EMR クラスターのステップタブに移動します。

  2. デバッグするステップをクリックします。

  3. ステップの詳細パネルで Yarn Application ID セクションを見つけます。

  4. 提供されたアプリケーション ID をコピーします。

  5. ID を使用して以下を行います。

    • YARN ResourceManager Live UI を開きます。URI は、http://resourcemanager-host:8088/cluster/app/application_id のようになります。

    • Spark History Server UI を開いて、アプリケーション実行の詳細を確認します。

    • アプリケーション ID でタグ付けされたパスで S3 バケットのコンテナログにアクセスします。

Yarn アプリケーション ID を使用すると、デバッグプロセスを合理化し、高レベルの EMR ステップの失敗を基盤となる Yarn アプリケーションの実行に接続できます。