複数のステップを並行して実行する際の考慮事項

• クラスターのステップ同時実行レベルを選択するときは、マスターノードインスタンスタイプがユーザーワークロードのメモリ要件を満たしているかどうかを考慮する必要があります。メインステップのエグゼキュータプロセスは、各ステップのマスターノードで実行されます。複数のステップを並行して実行するには、一度に 1 つのステップを実行するよりも、マスターノードからのメモリと CPU の使用率が増えます。

• 同時ステップの複雑なスケジューリングとリソース管理を実現するには、 FairSchedulerや などの YARN スケジューリング機能を使用できますCapacityScheduler。 たとえば、 FairScheduler queueMaxAppsDefaultセットで を使用して、一度に実行できるジョブの数が一定以上にならないようにできます。

• ステップの同時実行レベルは、リソースマネージャの設定によって異なります。たとえば、YARN 5 が の並列処理のみで設定されている場合、 StepConcurrencyLevelが に設定されていても、並列して実行できる YARN アプリケーションは 5 つだけです10。 リソースマネージャの設定の詳細については、の「アプリケーションの設定」を参照してくださいAmazon EMR リリース ガイド。

• EMR 自動スケーリングを使用し、YARN リソースに基づいてスケールアップおよびスケールダウンして、リソースの競合を防止できます。詳細については、次のガイドの「Amazon EMR で自動スケーリングを使用する」を参照してくださいAmazon EMR 管理ガイド。

• ステップの同時レベルを下げると、EMR で、ステップ数を減らす前に実行中のすべてのステップを完了できます。クラスターで実行されている同時ステップが多すぎるためにリソースがなくなった場合は、実行中のステップを手動でキャンセルして、リソースを解放することをお勧めします。