Amazon EMRクラスターのトラブルシューティングに使用できるツール

クラスターのエラーを特定して修正するには、このページで取り上げるツールを利用すると良いでしょう。場合によっては、クラスターの起動時に一部のツールを初期化する必要があります。その他のツールは、デフォルトで、いずれのクラスターにも使用できます。

EMR クラスターの詳細を表示する

AWS Management ConsoleクラスターEMRとジョブの実行に関する詳細情報を取得するEMRAPIには AWS CLI、、、または を使用できます。 AWS Management Console および の使用の詳細については AWS CLI、「」を参照してくださいAmazon EMRクラスターのステータスと詳細を表示する。

Amazon EMRコンソールの詳細ペイン

Amazon EMRコンソールのクラスターリストには、アカウントおよび の各クラスターのステータスに関する概要情報が表示されます AWS リージョン。リストには、過去 2 か月間に起動したアクティブなクラスターと終了させたクラスターがすべて表示されます。[Clusters] リストから、クラスターの [Name] を選択するとクラスターの詳細を表示できます。この情報は、簡単に操作できるよう別々のカテゴリに分類されています。

クラスターの詳細ページで利用できる [アプリケーションユーザーインターフェイス] は、トラブルシューティングに役立ちます。YARN アプリケーションのステータスを提供し、Spark アプリケーションなどの一部のアプリケーションでは、ジョブ、ステージ、エグゼキュターなどのさまざまなメトリクスやファセットをドリルダウンできます。詳細については、「Amazon EMRアプリケーション履歴を表示する」を参照してください。この機能は、Amazon EMRリリース 5.8.0 以降でのみ使用できます。

Amazon EMR コマンドラインインターフェイス

クラスターに関する詳細は、 --describe引数 AWS CLI を使用して から見つけることができます。

Amazon EMR API

DescribeJobFlows アクションAPIを使用して、 からクラスターの詳細を見つけることができます。

EMR クラスターエラーの詳細を表示する

EMR クラスターがエラーで終了すると、 DescribeClusterと はエラーコードとエラーメッセージListClustersAPIsを返します。クラスターエラーによっては、ErrorDetail データ配列が障害のトラブルシューティングに役立つ場合があります。

ErrorDetail データを含むエラーコードのリストについては、Amazon の情報を含む ErrorDetailエラーコード EMR を参照してください。

注記

適切な最新情報を得られるよう、エラーメッセージは継続的に改善されています。ErrorMessage のテキストは、変更される可能性があるため、解析はお勧めしません。

スクリプトを実行して Amazon EMRプロセスを設定する

トラブルシューティングプロセスの一環として、クラスターでのカスタムスクリプトの実行や、クラスタープロセスの表示と設定が有効な場合があります。

アプリケーションプロセスを表示して再起動する

潜在的な問題を診断するために、クラスターで実行中のプロセスを表示すると役立つことがあります。クラスターのマスターノードに接続して、クラスタープロセスを停止および再起動できます。詳細については、「Amazon およびアプリケーションプロセス (デーモン) を表示EMRして再起動する」を参照してください。

SSH 接続なしでコマンドとスクリプトを実行する

クラスターでコマンドまたはスクリプトをステップとして実行するには、マスターノードSSHへの接続を確立せずに command-runner.jarまたは script-runner.jar ツールを使用できます。詳細については、「Amazon EMRクラスターでコマンドとスクリプトを実行する」を参照してください。

ログファイルを表示する

Amazon EMRと Hadoop はどちらも、クラスターの実行時にログファイルを生成します。クラスターを起動したときの設定に応じて、さまざまなツールからログファイルにアクセスできます。詳細については、「Amazon EMRクラスターのログ記録とデバッグを設定する」を参照してください。

マスターノードのログファイル

すべてのクラスターは、マスターノードの the /mnt/var/log/ ディレクトリにログファイルを発行します。ログファイルはクラスターが実行されている間のみ利用可能です。

Simple Storage Service (Amazon S3) にアーカイブされたログファイル

クラスターを起動し、Amazon S3 ログパスを指定すると、クラスターはマスターノードの in /mnt/var/log/ に保存されているログファイルを 5 分間隔で Amazon S3 にコピーします。これによって、クラスターが終了された後でも確実にログファイルにアクセスできます。ファイルは 5 分間隔でアーカイブされるため、突然終了したクラスターの最後の数分は利用できない可能性があります。

EMR クラスターのパフォーマンスをモニタリングする

Amazon EMR には、クラスターのパフォーマンスをモニタリングするためのツールがいくつか用意されています。

Hadoop ウェブインターフェイス

すべてのクラスターは、クラスターに関する情報を含むマスターノードに Web インターフェイス一式を発行します。これらのウェブページにアクセスするには、 SSHトンネルを使用してマスターノードに接続します。詳細については、「Amazon EMRクラスターでホストされているウェブインターフェイスを表示する」を参照してください。

CloudWatch メトリクス

すべてのクラスターは、メトリクスを にレポートします CloudWatch。 CloudWatch は、メトリクスを追跡するウェブサービスであり、これらのメトリクスにアラームを設定するために使用できます。詳細については、「を使用した Amazon EMRメトリクスのモニタリング CloudWatch」を参照してください。