ステップ 4: ログファイルの検証 - Amazon EMR

ステップ 4: ログファイルの検証

次のステップは、ログファイルを調べて、クラスターで発生した問題のエラーコードまたはその他の兆候を見つけることです。使用可能なログファイル、ファイルの場所、および表示方法の詳細については、「 ログファイルを表示する」を参照してください。

何が起こったのかを調べるには、しばらく調査作業をすることが必要な場合があります。Hadoop は、クラスター内のさまざまなノードでタスクを試行してジョブの作業を実行します。Amazon EMR は、完了しない他のタスク試行をまず終了して、投機的なタスク試行を開始する可能性があります。これは、発生時にコントローラー、stderr、および syslog ログファイルに記録される重大なアクティビティを生成します。さらに、複数のタスク試行が同時に実行されますが、ログファイルは結果を直線的にしか表示できません。

クラスターの起動中のブートストラップアクションログで、エラーや予期しない設定の変更をまず調べてください。次に、ステップログを調べて、エラーのあるステップの一部として起動された Hadoop ジョブを特定します。Hadoop のジョブログを調べて、失敗したタスク試行を特定します。タスク試行ログには、タスク試行が失敗した原因に関する詳細が含まれます。

さまざまなログファイルを使用してクラスターのエラーを識別する方法について以降のセクションで説明します。

ブートストラップアクションログの確認

ブートストラップアクションは、起動時にクラスター上でスクリプトを実行します。通常、クラスターへの追加ソフトウェアのインストールや、デフォルト値からの設定の変更に使用されます。これらのログを確認すると、クラスターのセットアップ中に発生したエラーや、パフォーマンスに影響する可能性のある設定の変更に関するインサイトが得られる場合があります。

ステップログの確認

ステップログには 4 種類あります。

  • コントローラー——ステップ実行の試行中に発生したエラーから発生する Amazon EMR (Amazon EMR) によって生成されたファイルが含まれます。ロード中にステップが失敗した場合は、このログでスタックトレースを見つけることができます。アプリケーションの読み込みまたはアクセスのエラーは、しばしばここに記載されます。マッパーファイルがないエラーについても同様です。

  • stderr—ステップの処理中に発生したエラーメッセージが含まれます。アプリケーションの読み込みエラーは、しばしばここに記載されます。このログには、スタックトレースが含まれている場合があります。

  • stdout—マッパーおよびリデューサーの実行可能ファイルによって生成されたステータスが含まれます。アプリケーションの読み込みエラーは、しばしばここに記載されます。このログには、アプリケーションのエラーメッセージが含まれている場合があります。

  • syslog—Apache や Hadoop などの、Amazon 以外のソフトウェアからのログが含まれます。ストリーミングエラーは、しばしばここに記載されます。

stderr で明らかなエラーを確認してください。stderr にエラーの短いリストが表示されている場合、ステップはエラーがスローされてからすぐに停止しています。これは、多くの場合、クラスターで実行されていたマッパーおよびリデューサーアプリケーションのエラーが発生の原因です。

コントローラーと syslog の最後の行を調べて、エラーまたは障害の通知を確認します。特に「Job Failed」と表示されている場合、失敗したタスクに関する通知に従ってください。

タスク試行ログの確認

前のステップログの分析で 1 つ以上の失敗したタスクが見つかった場合は、対応するタスク試行のログを調べて、詳細なエラー情報を入手してください。