Gunakan committer yang EMRFS dioptimalkan S3

Komitter yang EMRFS dioptimalkan S3 adalah OutputCommitterimplementasi alternatif yang dioptimalkan untuk menulis file ke Amazon S3 saat menggunakan. EMRFS Komitter yang EMRFS dioptimalkan S3 meningkatkan kinerja aplikasi dengan menghindari daftar dan mengganti nama operasi yang dilakukan di Amazon S3 selama fase komit pekerjaan dan tugas. Committer tersedia dengan EMR rilis Amazon 5.19.0 dan yang lebih baru, dan diaktifkan secara default dengan Amazon EMR 5.20.0 dan yang lebih baru. Committer digunakan untuk pekerjaan Spark yang menggunakan SparkSQL, DataFrames, atau Datasets. Dimulai dengan Amazon EMR 6.4.0, committer ini dapat digunakan untuk semua format umum termasuk parket,ORC, dan format berbasis teks (termasuk dan). CSV JSON Untuk rilis sebelum Amazon EMR 6.4.0, hanya format Parket yang didukung. Ada keadaan di mana komite tidak digunakan. Untuk informasi selengkapnya, lihat Persyaratan untuk komitter yang EMRFS dioptimalkan S3.

Topik

• Persyaratan untuk komitter yang EMRFS dioptimalkan S3
• Komitter yang EMRFS dioptimalkan S3 dan unggahan multipart
• Pertimbangan penyetelan Job
• Aktifkan committer yang EMRFS dioptimalkan S3 untuk Amazon 5.19.0 EMR