Tautan ke Amazon EMR pada panduan praktik terbaik EKS GitHub

Kami telah membangun EMR Amazon di Panduan Praktik Terbaik EKS menggunakan kolaborasi komunitas open source sehingga kami dapat melakukan iterasi dengan cepat dan memberikan rekomendasi untuk aspek pembuatan dan menjalankan klaster virtual. Kami menyarankan Anda menggunakan Amazon EMR pada panduan praktik terbaik EKS untuk bagian tersebut. Pilih tautan di setiap bagian untuk pergi ke GitHub situs.

Keamanan

catatan

Untuk informasi lebih lanjut tentang keamanan dengan Amazon EMR di EKS, lihat. Amazon EMR pada praktik terbaik keamanan EKS

Praktik terbaik enkripsi: cara menggunakan enkripsi untuk data saat istirahat dan dalam perjalanan.

Mengelola keamanan jaringan menjelaskan cara mengonfigurasi grup keamanan untuk pod untuk Amazon EMR di EKS saat Anda terhubung ke sumber data yang di-host seperti Amazon RDS dan Layanan AWS Amazon Redshift.

Menggunakan manajer AWS rahasia untuk menyimpan rahasia.

Pengajuan pekerjaan Pyspark

Pengajuan pekerjaan Pyspark: menentukan berbagai jenis kemasan untuk aplikasi PySpark menggunakan format kemasan seperti zip, egg, wheel, dan pex.

Penyimpanan

Menggunakan volume EBS:: cara menggunakan penyediaan statis dan dinamis untuk pekerjaan yang membutuhkan volume EBS.

Menggunakan Amazon FSx untuk volume Lustre: cara menggunakan penyediaan statis dan dinamis untuk pekerjaan yang membutuhkan Amazon FSx untuk volume Luster.

Menggunakan volume penyimpanan Instance: cara menggunakan volume penyimpanan instance untuk pemrosesan pekerjaan.

Integrasi metastore

Menggunakan Hive metastore: menawarkan berbagai cara untuk menggunakan metastore Hive.

Menggunakan AWS Glue: menawarkan berbagai cara untuk mengkonfigurasi katalog AWS Glue.

Debugging

Menggunakan debugging Spark: cara mengubah level log.

Menghubungkan ke Spark UI pada pod driver.

Cara menggunakan server riwayat Spark yang dihosting sendiri dengan Amazon EMR di EKS.

Memecahkan masalah Amazon EMR pada masalah EKS

Pemecahan masalah.

Penempatan simpul

Menggunakan pemilih node Kubernetes untuk single-az dan kasus penggunaan lainnya.

Menggunakan penempatan simpul Fargate.

Performa

Menggunakan Dynamic Resource Allocation (DRA).

Praktik terbaik EKS untuk plugin Amazon VPC Container Network Interface (CNI), Cluster Autoscaler, dan Core DNS.

Optimalisasi biaya

Menggunakan instans spot: Praktik terbaik instans EC2 spot Amazon dan cara menggunakan fitur dekomisi simpul Spark.

Menggunakan AWS Outposts

Menjalankan Amazon EMR di EKS menggunakan AWS Outposts