ログファイルを表示する
Amazon EMR と Hadoop はいずれも、クラスターの状態を報告するログファイルを生成します。デフォルトで、ログファイルは /mnt/var/log/ ディレクトリのプライマリノードに出力されます。クラスターの起動時に設定した方法に応じて、これらのログは Amazon S3 にもアーカイブされることがあり、グラフィカルなデバッグツールを使用して表示できる場合があります。
プライマリノードには、さまざまな種類のログが書き込まれます。Amazon EMR は、ステップ、ブートストラップアクション、およびインスタンスの状態の各ログを書き込みます。Apache Hadoop は、ジョブ、タスク、およびタスク試行の処理を報告するログを出力します。また、Hadoop は、デーモンのログも記録します。Hadoop から出力される情報の詳細については、http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSetup.html
プライマリノードのログファイルを表示する
次の表は、プライマリノードで確認できるログファイルの一部を示しています。
| ロケーション | 説明 |
|---|---|
|
/emr/instance-controller/log/bootstrap-actions |
ブートストラップアクションの処理中に出力されるログ。 |
|
/mnt/var/log/hadoop-state-pusher |
Hadoop の状態プッシャープロセスで出力されるログ。 |
|
/emr/instance-controller/log |
インスタンスコントローラログ。 |
|
/emr/instance-state |
インスタンス状態ログ。ノードの CPU、メモリの状態、およびガベージコレクタースレッドに関する情報が含まれます。 |
|
/emr/service-nanny |
サービスナニープロセスで出力されるログ |
|
/mnt/var/log/ |
Hadoop、Spark、Hive などのアプリケーションに固有のログ。 |
|
mnt/var/log/hadoop/steps/ |
ステップの処理に関する情報が含まれステップログ。 Amazon EMR によって書き込まれるステップログは次のとおりです。
|
AWS CLI でプライマリノードのログファイルを表示するには
-
「SSH を使用してプライマリノードに接続する」の説明に従って、SSH を使用してプライマリノードに接続します。
-
表示するログファイル情報が保存されているディレクトリに移動します。前述の表は、使用できるログファイルの種類とその保存場所の一覧です。次の例は、ID が
s-1234ABCDEFGHのステップログに移動するコマンドを示しています。cd /mnt/var/log/hadoop/steps/s-1234ABCDEFGH/ -
任意のファイルビューワーを使用してログファイルを表示します。次の例では、Linux の
lessコマンドを使用してcontrollerログファイルを表示します。less controller
Amazon S3 にアーカイブされたログファイルを表示する
デフォルトでは、コンソールを使用して起動した Amazon EMR クラスターは自動的に Amazon S3 にログファイルをアーカイブします。独自のログのパスを指定したり、コンソールが自動的にログのパスを生成することを許可したりできます。CLI または API を使用して起動されるクラスターについては、Amazon S3 ログのアーカイブを手動で設定する必要があります。
ログファイルを Amazon S3 にアーカイブするように Amazon EMR を設定すると、/cluster-id/ フォルダ内の指定した S3 の場所にファイルが保存されます。ここで、cluster-id はクラスター ID です。
Amazon S3 で見つかるログファイルの一部を次の表に示します。
| ロケーション | 説明 |
|---|---|
|
/ |
ブートストラップアクション、インスタンスの状態、ノードのアプリケーションログを含むノードログ。各ノードのログは、そのノードの EC2 インスタンス識別子が名前に付いたフォルダーに保存されます。 |
|
/ |
アプリケーションに関連付けられた各アプリケーションまたはデーモンにより作成されたログ。たとえば、Hive サーバーログは |
|
/ |
ステップの処理に関する情報が含まれステップログ。 Amazon EMR によって書き込まれるステップログは次のとおりです。
|
|
/ |
アプリケーションコンテナログ。各 YARN アプリケーションのログは、これらの場所に保存されます。 |
|
/ |
MapReduce ジョブの設定の詳細とジョブ履歴に関する情報を含むログ。 |
Amazon S3 コンソールを使用して Amazon S3 にアーカイブされたログファイルを表示するには
-
AWS Management Console にサインインし、Amazon S3 コンソール https://console.aws.amazon.com/s3/
を開きます。 -
Amazon S3 にログファイルをアーカイブするようにクラスターを設定したときに指定した S3 バケットを開きます。
-
表示する情報を含むログファイルに移動します。前述の表は、使用できるログファイルの種類とその保存場所の一覧です。
-
ログファイルオブジェクトをダウンロードして表示します。手順については、「オブジェクトのダウンロード」を参照してください。
デバッグツールでログファイルを表示する
Amazon EMR では、デバッグツールは自動的に有効になりません。クラスターの起動時にこれを設定する必要があります。新しい Amazon EMR コンソールにはデバッグツールがないことに注意してください。
古いコンソールを使用してクラスターログを表示するには
-
新しい Amazon EMR コンソールに移動し、サイドナビゲーションから [古いコンソールに切り替え] を選択します。古いコンソールに切り替えたときの動作の詳細については、「Using the old console」を参照してください。
-
クラスターリストページで、表示するクラスターの横にある詳細アイコンを選択します。
これにより、[クラスターの詳細] ページが開きます。[ステップ] セクションの各ステップの右にあるリンクに、そのステップで使用できるさまざまなタイプのログが表示されます。これらのログは Amazon EMR によって生成されます。
-
特定のステップに関連付けられた Hadoop ジョブのリストを表示するには、ステップの右の [ジョブの表示] リンクを選択します。
-
特定のジョブに関連付けられた Hadoop タスクのリストを表示するには、ジョブの右の [ジョブの表示] リンクを選択します。
-
特定のタスクが完了しようとして実行した試行のリストを表示するには、タスクの右の [試行の表示] リンクを選択します。
-
タスク試行によって生成されたログを表示するには、タスク試行の右の [stderr]、[stdout]、および [syslog] の各リンクを選択します。
Amazon EMR がログファイルを Amazon S3 のバケットにアップロードすると、デバッグツールに、そのログファイルへのリンクが表示されます。ログファイルは 5 分ごとに Amazon S3 にアップロードされるため、ステップが完了してからログファイルのアップロードが完了するまでには、数分間かかることがあります。
Amazon EMR は、デバッグツールに表示される Hadoop のジョブ、タスク、およびタスク試行の状態を定期的に更新します。デバッグペインの [Refresh List] をクリックすると、これらの項目の最新のステータスを入手できます。
