ジョブの調整に関する考慮事項

Spark エグゼキューターでは、EMRFS S3 に最適化されたコミットプロトコルは、タスクがコミットまたは中止されるまで、タスク試行によって書き込まれるファイルごとに少量のメモリを消費します。ほとんどのジョブで消費されるメモリの量は無視できる程度です。

Spark ドライバーでは、EMRFS S3 に最適化されたコミットプロトコルでは、ジョブがコミットまたは中止されるまで、コミットされた各ファイルのメタデータ情報を保存するためのメモリが必要です。ほとんどのジョブでは、デフォルトのSparkドライバーのメモリー設定はごくわずかです。

実行時間が長く、大量のファイルを書き込むタスクがあるジョブでは、コミットプロトコルが消費するメモリが目立ち、Spark、特にSparkエグゼキューターに割り当てられるメモリーの調整が必要になる場合があります。Sparkspark.driver.memory ドライバーのプロパティーと Sparkspark.executor.memory エグゼキューターのプロパティーを使用してメモリーをチューニングできます。ガイドラインとして、100,000 個のファイルを書き込む 1 つのタスクでは、一般的に 100 MB のメモリを追加する必要があります。詳細については、Apache Spark Configuration ドキュメントの「Application Properties」を参照してください。