ステップ 5: Amazon EMRクラスターを段階的にテストする

エラーの原因を追跡しようとする場合、クラスターを再起動し、ステップを個別にクラスターに送信するのが有用です。これによって、次のステップを処理する前に各ステップの結果を確認することができ、失敗したステップを修正および再実行できます。これには、一度だけ入力データを読み込むという利点もあります。

手順を追ってクラスターをテストするには

1. キープアライブおよび有効な終了保護を有効にして、新しいクラスターを起動します。キープアライブでは、保留中のすべてのステップを処理した後、継続してクラスターを実行します。終了保護では、クラスターがエラーのイベントでシャットダウンできないようにします。詳細については、「ステップの実行後に続行または終了するように Amazon EMRクラスターを設定する」および「終了保護を使用して Amazon EMRクラスターを誤ってシャットダウンから保護する」を参照してください。

2. ステップをクラスターに送信します。詳細については、「Amazon EMRクラスターに作業を送信する」を参照してください。

3. ステップが処理を完了すると、ステップログファイルのエラーを確認します。詳細については、「ステップ 4: Amazon EMRログファイルを調べる」を参照してください。これらのログファイルを検索する最も簡単な方法は、マスターノードに接続し、ログファイルを表示します。ステップログファイルは、ステップがしばらく実行されるまで、または終了あるいは失敗するまで表示されません。

4. ステップがエラーなしで成功した場合、次のステップを実行します。エラーが発生した場合、ログファイルでエラーを確認します。ユーザーのコードでエラーがあった場合、修正してステップを再実行します。すべてのステップがエラーなしで実行できるまで続けます。

5. クラスターのデバッグを完了し、これを終了する場合、手動で終了する必要があります。クラスターは終了保護を有効にして起動されているため、これが必要になります。詳細については、「終了保護を使用して Amazon EMRクラスターを誤ってシャットダウンから保護する」を参照してください。