Collegamenti ad Amazon EMR su EKS, guide sulle best practice su GitHub

Abbiamo creato la Amazon EMR on EKS Best Practices Guide utilizzando la collaborazione della community open source in modo da poter iterare rapidamente e fornire consigli sugli aspetti della creazione e della gestione di un cluster virtuale. È preferibile utilizzare la Guida sulle procedure consigliate per Amazon EMR su EKS per le sezioni. Scegli i link in ogni sezione per accedere al GitHub sito.

Sicurezza

Nota

Per ulteriori informazioni sulla sicurezza con Amazon EMR su EKS, consulta Best practice di sicurezza per Amazon EMR su EKS.

Best practice per la crittografia: come utilizzare la crittografia per dati a riposo e in transito.

Gestione della sicurezza della rete descrive come configurare gruppi di sicurezza per i pod per Amazon EMR su EKS mentre ti connetti a origini dati ospitate in Servizi AWS , ad esempio Amazon RDS e Amazon Redshift.

Utilizzo del gestore AWS dei segreti per archiviare i segreti.

Invio di processi Pyspark

Invio di processi Pyspark: specifica diverse modalità di creazione pacchetti per applicazioni PySpark con formati di pacchetti come zip, egg, wheel e pex.

Storage

Utilizzo di volumi EBS: come utilizzare il provisioning statico e dinamico per i processi che richiedono volumi EBS.

Utilizzo dei volumi Amazon FSx for Lustre: come utilizzare il provisioning statico e dinamico per lavori che richiedono volumi Amazon FSx for Lustre.

Utilizzo di volumi di archivio dell'istanza: come utilizzare i volumi di archivio dell'istanza per l'elaborazione di processi.

Integrazione metastore

Utilizzo del metastore Hive: offre diversi metodi per utilizzare il metastore Hive.

Utilizzo di AWS Glue: offre diversi modi per configurare il catalogo AWS Glue.

Debug

Utilizzo del debug Spark: come modificare il livello di log.

Connessione all'interfaccia utente Spark sul pod driver.

Come utilizzare il server di cronologia Spark in hosting autonomo con Amazon EMR su EKS.

Soluzione dei problemi di Amazon EMR su EKS

Soluzione dei problemi.

Posizionamento dei nodi

Utilizzo dei selettori dei nodi Kubernetes per single-az e altri casi d'uso.

Utilizzo del posizionamento dei nodi Fargate.

Prestazioni

Utilizzo dell'allocazione dinamica delle risorse (DRA).

Procedure consigliate per EKS per il plug-in Amazon VPC Container Network Interface (CNI), Cluster Autoscaler e Core DNS.

Ottimizzazione dei costi

Utilizzo delle istanze spot: best practice per le istanze EC2 Spot di Amazon e come utilizzare la funzionalità di decommissionamento dei nodi Spark.

Usando AWS Outposts

Esecuzione di Amazon EMR su EKS utilizzando AWS Outposts