クラスターへの作業の送信 - Amazon EMR

クラスターへの作業の送信

このセクションでは、Amazon EMR クラスターに作業を送信する際に使用できる方法について説明します。作業を送信するには、ステップを追加するか、Hadoop ジョブをプライマリノードにインタラクティブに送信します。

クラスターにステップを送信するときは、以下のステップの動作に関するルールを考慮してください。

  • ステップ ID の長さは最大 256 文字です。

  • 1 つのクラスターで使用できる保留中および実行中のステップの最大数は 256 です。

  • クラスターで実行しているアクティブなステップが 256 ある場合でも、プライマリノードにジョブをインタラクティブに送信できます。長時間稼働するクラスターが存続する間は、送信できるステップの数に制限はありませんが、任意の時点で実行中または保留中にできるステップは 256 ステップまでです。

  • バージョン 5.0.0 を除く Amazon EMR バージョン 4.8.0 以降では、保留中のステップをキャンセルできます。詳細については、「ステップのキャンセル」を参照してください。

  • Amazon EMR バージョン 5.28.0 以降では、保留中のステップと実行中のステップの両方をキャンセルできます。また、複数のステップを並行して実行して、クラスターの使用率を改善し、コストを削減することもできます。詳細については、「複数のステップを並行して実行する際の考慮事項」を参照してください。

注記

最高のパフォーマンスを得るには、Amazon EMR で使用するカスタムブートストラップアクション、スクリプト、およびその他のファイルを、クラスターと同じ AWS リージョン 内の Simple Storage Service (Amazon S3) バケットに保存することをお勧めします。

トピック