考量事項 - Amazon EMR

考量事項

當您自訂 Docker 映像檔時,可以為您的作業選擇精確的執行期。使用此功能時,請遵循這些最佳實務:

  • 安全是 AWS 與您共同肩負的責任。您負責對新增至映像的二進位檔案進行安全修補。遵循 Amazon EMR on EKS 安全最佳實務,尤其是 取得自訂映像的最新安全更新套用最低權限準則

  • 當您自訂基礎映像時,必須將 Docker 使用者變更為 hadoop:hadoop,以便作業不會與根使用者一起執行。

  • Amazon EMR on EKS 會在執行階段將檔案掛載在映像的組態之上,例如 spark-defaults.conf。若要覆寫這些組態檔案,建議您在作業提交期間使用 applicationOverrides 參數,而不要直接修改自訂映像中的檔案。

  • Amazon EMR on EK 會在執行階段掛載特定資料夾。您對這些資料夾所做的任何修改都無法在容器中使用。如果您要為自訂映像新增應用程式或其相依性,建議您選擇不屬於下列預先定義路徑的目錄:

    • /var/log/fluentd

    • /var/log/spark/user

    • /var/log/spark/apps

    • /mnt

    • /tmp

    • /home/hadoop

  • 您可以將自訂映像上傳到任何與 Docker 相容的儲存庫,例如 Amazon ECR、Docker Hub 或私有企業儲存庫。如需有關如何使用選取的 Docker 儲存庫設定 Amazon EKS 叢集身分驗證的詳細資訊,請參閱從私有登錄檔提取映像