Considerazioni - Amazon EMR

Considerazioni

Personalizzando le immagini Docker, puoi scegliere il runtime esatto per il tuo processo a livello granulare. Assicurati di attenerti alle seguenti best practice quando utilizzi questa funzionalità:

  • La sicurezza è una responsabilità condivisa tra AWS e l'utente. Sei responsabile dell'applicazione di patch di sicurezza dei dati binari aggiunti all'immagine. Attieniti a Best practice relative alla sicurezza, in particolare Ricevi gli ultimi aggiornamenti di sicurezza per le immagini personalizzate e Applicazione del principio del privilegio minimo.

  • Quando personalizzi un'immagine di base, verifica di modificare l'utente Docker in hadoop:hadoop per garantire che i processi non vengano eseguiti utilizzando l'utente root.

  • Amazon EMR su EKS monta i file sulle configurazioni dell'immagine, come ad esempio spark-defaults.conf, in base al runtime. Per sovrascrivere questi file di configurazione, consigliamo di utilizzare il parametro applicationOverrides durante l'invio del processo e non solo modificare i file direttamente nell'immagine personalizzata.

  • Amazon EMR su EKS monta determinate cartelle in base al runtime. Le eventuali modifiche apportate a queste cartelle non sono disponibili nel container. Se desideri aggiungere un'applicazione o le relative dipendenze per le immagini personalizzate, ti consigliamo di scegliere una directory che non faccia parte dei percorsi predefiniti seguenti:

    • /var/log/fluentd

    • /var/log/spark/user

    • /var/log/spark/apps

    • /mnt

    • /tmp

    • /home/hadoop

  • L'immagine personalizzata può essere caricata su qualsiasi repository compatibile con Docker, ad esempio Amazon ECR, Docker Hub o un repository aziendale privato. Per ulteriori informazioni sulla configurazione dell'autenticazione del cluster Amazon EKS con il repository Docker selezionato, consulta Estrazione di un'immagine da un registro privato.