考慮事項

Docker イメージをカスタマイズする場合、ジョブの正確なランタイムをきめ細かなレベルで選択できます。この機能を使用する場合、次のベストプラクティスに従います。

• セキュリティは、 AWS とユーザーの間で共有される責任です。イメージに追加するバイナリのセキュリティパッチの適用は、お客様が行います。Amazon EMR on EKS でのセキュリティのベストプラクティス (特にカスタムイメージの最新のセキュリティ更新プログラムを入手する および 最小特権の原則を適用する) に従います。

• ベースイメージをカスタマイズするときは、Docker ユーザーを hadoop:hadoop に変更して、ルートユーザーを使用してジョブが実行されないようにする必要があります。

• EKS での Amazon EMR は、実行時に、spark-defaults.conf などのイメージの設定の上にファイルをマウントします。これらの設定ファイルを上書きするには、カスタムイメージでファイルを直接変更するのではなく、ジョブの送信中に applicationOverrides パラメータを使用することをお勧めします。

• EKS での Amazon EMR は、実行時に特定のフォルダをマウントします。これらのフォルダに加えられた変更は、コンテナでは使用できません。カスタムイメージにアプリケーションまたはその依存関係を追加する場合は、次の事前定義パスの一部ではないディレクトリを選択することをお勧めします。

  • /var/log/fluentd

  • /var/log/spark/user

  • /var/log/spark/apps

  • /mnt

  • /tmp

  • /home/hadoop

• カスタマイズしたイメージは、Amazon ECR、Docker Hub、プライベートエンタープライズリポジトリなど、Docker と互換性があるリポジトリにアップロードできます。選択した Docker リポジトリを使用した Amazon EKS クラスター認証の設定について詳しくは、「Pull an Image from a Private Registry」を参照してください。