考量 - Amazon EMR

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

考量

通過自定義 Docker 映像,您可以為您的作業選擇精確的運行時間。使用此功能時,請務必遵循下列最佳實務:

  • 安全是 AWS 與您共同肩負的責任。您負責為添加到映像的二進制文件進行安全修補。遵循安全最佳實務,特別是獲取自定義映像的最新安全更新適用最低權限準則

  • 當您自訂基礎映像時,請務必將 Docker 用户更改為hadoop:hadoop以確保不使用 root 用户運行作業。

  • EKS 上的 Amazon EMR 會在映像的配置之上裝載文件,例如spark-defaults.conf,在運行階段。若要覆蓋這些配置檔案,我們建議您使用applicationOverrides參數,而不僅僅是直接修改自定義圖像中的文件。

  • EKS 上的 Amazon EMR 會在運行時裝載某些文件夾。對這些文件夾所做的任何修改在容器中都不可用。如果要為自定義映像添加應用程序或其依賴項,我們建議您選擇不屬於以下預定義路徑的目錄:

    • /var/log/fluentd

    • /var/log/spark/user

    • /var/log/spark/apps

    • /mnt

    • /tmp

    • /home/hadoop

  • 您的自定義映像可以上傳到任何與 Docker 兼容的存儲庫,例如 Amazon ECR、Docker Hub 或私有企業存儲庫。如需使用選定 Docker 存儲庫配置 Amazon EKS 羣集身份驗證的詳細資訊,請參從私有登錄檔提取映像