Considerações

Ao personalizar imagens do Docker, é possível escolher o runtime exato para seu trabalho em um nível granular. Siga estas práticas recomendadas ao usar esse recurso:

• A segurança é uma responsabilidade compartilhada entre você AWS e você. Você é responsável pela aplicação de patches de segurança nos binários adicionados à imagem. Siga as Práticas recomendadas de segurança para o Amazon EMR no EKS, especialmente o que é colocado em Obtenção das atualizações de segurança mais recentes para as imagens personalizadas e Aplicação do princípio de privilégio mínimo.

• Ao personalizar uma imagem base, você deve alterar o usuário do Docker para hadoop:hadoop com a finalidade de que os trabalhos não sejam executados com o usuário raiz.

• O Amazon EMR no EKS monta arquivos sobre as configurações para as imagens, como o spark-defaults.conf, no runtime. Para substituir esses arquivos de configuração, recomendamos usar o parâmetro applicationOverrides durante o envio do trabalho e não modificar diretamente os arquivos na imagem personalizada.

• O Amazon EMR no EKS monta determinadas pastas no runtime. Quaisquer modificações feitas nessas pastas não estarão disponíveis no contêiner. Se você desejar adicionar uma aplicação ou suas dependências para as imagens personalizadas, recomendamos escolher um diretório que não faça parte dos seguintes caminhos definidos previamente:

  • /var/log/fluentd

  • /var/log/spark/user

  • /var/log/spark/apps

  • /mnt

  • /tmp

  • /home/hadoop

• Você pode fazer upload de sua imagem personalizada para qualquer repositório compatível com Docker, como o Amazon ECR, o Docker Hub ou um repositório empresarial privado. Para obter mais informações sobre como configurar a autenticação de cluster do Amazon EKS com o repositório do Docker selecionado, consulte Pull an Image from a Private Registry.