Amazon EMR pada rilis EKS 6.11.0

Halaman ini menjelaskan fungsionalitas baru dan yang diperbarui untuk Amazon EMR yang khusus untuk EMR Amazon saat EKS penyebaran. Untuk detail tentang Amazon yang EMR berjalan di Amazon EC2 dan tentang rilis Amazon EMR 6.11.0 secara umum, lihat Amazon EMR 6.11.0 di Panduan Rilis Amazon. EMR

Amazon EMR pada rilis EKS 6.11

Rilis Amazon EMR 6.11.0 berikut tersedia untuk Amazon EMR di. EKS Pilih emr-6.11.0- XXXX rilis tertentu untuk melihat detail lebih lanjut seperti tag gambar kontainer terkait.

• emr-6.11.0-terbaru

• emr-6.11.0-20230905

• emr-6.11.0-20230509

• emr-6.11.0- spark-rapids-latest

• emr-6.11.0-spark-cepat-20230509

• emr-6.11.0-java11-terbaru

• emr-6.11.0-java11-20230509

• notebook-spark/emr-6.11.0-terbaru

• notebook-spark/emr-6.11.0-20230509

• notebook-python/emr-6.11.0-terbaru

• notebook-python/emr-6.11.0-20230509

Catatan rilis

Catatan rilis untuk Amazon EMR di EKS 6.11.0

• Aplikasi yang didukung - AWS SDK for Java 1.12.446, Apache Spark 3.3.2-amzn-0, Apache Hudi 0.13.0-amzn-0, Apache Iceberg 1.2.0-amzn-0, Delta 2.2.0, Apache Spark 23.02.0-amzn-0, Jupyter Enterprise Gateway 2.6.0 RAPIDS

• Komponen yang didukung - aws-sagemaker-spark-sdkemr-ddb,emr-goodies,,emr-s3-select,emrfs,hadoop-client,hudi,hudi-spark,iceberg,spark-kubernetes.

• Klasifikasi konfigurasi yang didukung

  Untuk digunakan dengan StartJobRundan CreateManagedEndpointAPIs:

  Klasifikasi	Deskripsi
  core-site	Ubah nilai dalam file core-site.xml Hadoop.
  emrfs-site	Ubah EMRFS pengaturan.
  spark-metrics	Ubah nilai dalam file metrics.properties Spark.
  spark-defaults	Ubah nilai dalam file spark-defaults.conf Spark.
  spark-env	Ubah nilai di lingkungan Spark.
  spark-hive-site	Ubah nilai dalam file hive-site.xml Spark.
  spark-log4j	Ubah nilai dalam file log4j.properties Spark.

  Untuk digunakan secara khusus dengan CreateManagedEndpointAPIs:

  Klasifikasi	Deskripsi
  jeg-config	Ubah nilai dalam file Jupyter Enterprise Gatewayjupyter_enterprise_gateway_config.py.
  jupyter-kernel-overrides	Ubah nilai untuk Gambar Kernel di file Spesifikasi Kernel Jupyter.

  Klasifikasi konfigurasi memungkinkan Anda menyesuaikan aplikasi. Ini sering sesuai dengan XML file konfigurasi untuk aplikasi, sepertispark-hive-site.xml. Untuk informasi selengkapnya, lihat Mengkonfigurasi Aplikasi.

Fitur penting

Fitur-fitur berikut disertakan dengan rilis 6.11 Amazon EMR diEKS.

• Amazon EMR pada gambar EKS dasar di Galeri ECR Publik Amazon — Jika Anda menggunakan kemampuan gambar khusus, gambar dasar kami menyediakan stoples, konfigurasi, dan pustaka penting untuk berinteraksi dengan EMR AmazonEKS. Anda sekarang dapat menemukan gambar dasar di Galeri ECR Publik Amazon.

• Rotasi log kontainer percikan - Amazon EMR di EKS 6.11 mendukung rotasi log kontainer Spark. Anda dapat mengaktifkan kemampuan dengan containerLogRotationConfiguration dalam MonitoringConfiguration pengoperasian StartJobRunAPI. Anda dapat mengonfigurasi rotationSize dan maxFilestoKeep untuk menentukan jumlah dan ukuran file log yang Anda inginkan Amazon EKS untuk disimpan EMR di driver Spark dan pod pelaksana. Untuk informasi selengkapnya, lihat Menggunakan rotasi log kontainer Spark.

• Dukungan gunung berapi di operator Spark dan spark-submit — EMR Amazon EKS di 6.11 mendukung menjalankan pekerjaan Spark dengan Volcano sebagai penjadwal kustom Kubernetes di operator Spark dan spark-submit. Anda dapat menggunakan fitur seperti penjadwalan geng, manajemen antrian, preemption, dan penjadwalan berbagi adil untuk mencapai throughput penjadwalan yang tinggi dan kapasitas yang dioptimalkan. Untuk informasi selengkapnya, lihat Menggunakan Volcano sebagai penjadwal khusus untuk Apache Spark di Amazon EMR di EKS.