Mengkonfigurasi tampilan yang konsisten - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Mengkonfigurasi tampilan yang konsisten

Anda dapat mengonfigurasi pengaturan tambahan untuk tampilan yang konsisten dengan menyediakannya menggunakan properti konfigurasi untuk properti emrfs-site. Misalnya, Anda dapat memilih throughput DynamoDB default yang berbeda dengan memberikan argumen berikut ke opsi --emrfs CLI, menggunakan klasifikasi konfigurasi situs emrfs (hanya rilis Amazon EMR versi 4.x dan yang lebih baru), atau tindakan bootstrap untuk mengonfigurasi file emrfs-site.xml pada simpul utama:

contoh Mengubah nilai baca dan tulis metadata default saat peluncuran klaster
aws emr create-cluster --release-label emr-5.36.0 --instance-type m5.xlarge \ --emrfs Consistent=true,Args=[fs.s3.consistent.metadata.read.capacity=600,\ fs.s3.consistent.metadata.write.capacity=300] --ec2-attributes KeyName=myKey

Atau, gunakan file konfigurasi berikut dan simpan secara lokal atau di Amazon S3:

[ { "Classification": "emrfs-site", "Properties": { "fs.s3.consistent.metadata.read.capacity": "600", "fs.s3.consistent.metadata.write.capacity": "300" } } ]

Gunakan konfigurasi yang Anda buat dengan sintaks berikut:

aws emr create-cluster --release-label emr-5.36.0 --applications Name=Hive \ --instance-type m5.xlarge --instance-count 2 --configurations file://./myConfig.json
catatan

Karakter lanjutan baris Linux (\) disertakan agar mudah dibaca. Karakter ini bisa dihapus atau digunakan dalam perintah Linux. Untuk Windows, hapus atau ganti dengan tanda pangkat (^).

Opsi berikut dapat diatur menggunakan konfigurasi atau argumen AWS CLI --emrfs. Untuk informasi tentang argumen tersebut, lihat AWS CLIRefensi Perintah.

emrfs-site.xml Properti untuk tampilan konsisten
Properti Nilai default Deskripsi
fs.s3.consistent false

Saat diatur ke true, properti ini mengonfigurasi EMRFS untuk menggunakan DynamoDB guna memberikan konsistensi.

fs.s3.consistent.retryPolicyType exponential Properti ini mengidentifikasi kebijakan yang akan digunakan saat mencoba kembali terkait masalah konsistensi. Opsi termasuk: eksponensial, tetap, atau tidak ada.
fs.s3.consistent.retryPeriodSeconds 1 Properti ini menetapkan lamanya waktu menunggu antara upaya coba lagi konsistensi.
fs.s3.consistent.retryCount 10 Properti ini menetapkan jumlah maksimum percobaan ulang ketika inkonsistensi terdeteksi.
fs.s3.consistent.throwExceptionOnInconsistency true Properti ini menentukan apakah akan melempar atau log pengecualian konsistensi. Ketika diatur ke true, ConsistencyException dilempar.
fs.s3.consistent.metadata.autoCreate true Ketika diatur ke true, properti ini memungkinkan pembuatan tabel metadata secara otomatis.
fs.s3.consistent.metadata.etag.verification.enabled true Dengan Amazon EMR 5.29.0, properti ini diaktifkan secara default. Saat diaktifkan, EMRFS menggunakan S3 ETags untuk memverifikasi bahwa objek yang sedang dibaca adalah versi terbaru yang tersedia. Fitur ini sangat membantu untuk kasus read-after-update penggunaan di mana file pada S3 sedang ditimpa sambil mempertahankan nama yang sama. Kemampuan verifikasi ETag ini saat ini tidak berfungsi dengan S3 Pilihan.
fs.s3.consistent.metadata.tableName EmrFSMetadata Properti ini menetapkan nama tabel metadata di DynamoDB.
fs.s3.consistent.metadata.read.capacity 500 Properti ini menetapkan kapasitas baca DynamoDB agar disediakan saat tabel metadata dibuat.
fs.s3.consistent.metadata.write.capacity 100 Properti ini menetapkan kapasitas tulis DynamoDB agar disediakan saat tabel metadata dibuat.
fs.s3.consistent.fastList true Jika disetel ke true, properti ini menggunakan beberapa utas dalam membuat daftar direktori (bila perlu). Konsistensi harus diaktifkan agar properti ini dapat digunakan.
fs.s3.consistent.fastList.prefetchMetadata false Jika disetel ke true, properti ini memungkinkan pengambilan metadata untuk direktori yang berisi lebih dari 20.000 item.
fs.s3.consistent.notification.CloudWatch false Jika disetel ketrue, CloudWatch metrik diaktifkan untuk panggilan FileSystem API yang gagal karena masalah eventual consistency Amazon S3.
fs.s3.consistent.notification.SQS false Jika disetel ke true, pemberitahuan eventual consistency didorong ke antrean Amazon SQS.
fs.s3.consistent.notification.SQS.queueName EMRFS-Inconsistency-<jobFlowId> Mengubah properti ini memungkinkan Anda menentukan nama antrean SQS Anda sendiri untuk pesan terkait masalah eventual consistency Amazon S3.
fs.s3.consistent.notification.SQS.customMsg none Properti ini memungkinkan Anda untuk menentukan informasi khusus yang disertakan dalam pesan SQS terkait masalah eventual consistency Amazon S3. Jika nilai tidak ditentukan untuk properti ini, bidang terkait dalam pesan akan kosong.
fs.s3.consistent.dynamodb.endpoint none Properti ini memungkinkan Anda untuk menentukan titik akhir DynamoDB khusus untuk metadata tampilan yang konsisten.
fs.s3.useRequesterPaysHeader false Ketika diatur ketrue, properti ini memungkinkan permintaan Amazon S3 ke bucket dengan opsi pembayar permintaan diaktifkan.