Konfigurasikan pemberitahuan konsistensi untuk CloudWatch dan Amazon SQS

Anda dapat mengaktifkan CloudWatch metrik dan pesan Amazon SQS di EMRFS untuk masalah konsistensi Amazon S3.

CloudWatch

Saat CloudWatch metrik diaktifkan, metrik bernama Inkonsistensi didorong setiap kali panggilan FileSystem API gagal karena konsistensi Amazon S3 pada akhirnya.

Untuk melihat CloudWatch metrik untuk masalah konsistensi Amazon S3 akhirnya

Untuk melihat metrik Inkonsistensi di CloudWatch konsol, pilih metrik EMRFS lalu pilih pasangan JobFlowId/Metric Name. Misalnya: j-162XXXXXXM2CU ListStatus, j-162XXXXXXM2CU GetFileStatus, dan seterusnya.

1. Buka CloudWatch konsol di https://console.aws.amazon.com/cloudwatch/.

2. Di Dasbor, pada bagian Metrik, pilih EMRFS.

3. Di panel Metrik Alur Pekerjaan, pilih satu atau beberapa pasangan JobFlowId/Nama Metrik. Representasi grafis dari metrik muncul pada jendela di bawah ini.

Amazon SQS

Jika pemberitahuan Amazon SQS diaktifkan, antrean Amazon SQS dengan nama EMRFS-Inconsistency-<jobFlowId> dibuat saat EMRFS diinisialisasi. Pesan Amazon SQS didorong ke dalam antrean saat panggilan API FileSystem gagal karena eventual consistency Amazon S3. Pesan berisi informasi seperti JobFlowId, API, daftar jalur yang tidak konsisten, jejak tumpukan, dan sebagainya. Pesan dapat dibaca menggunakan konsol Amazon SQS atau menggunakan perintah read-sqs EMRFS.

Untuk mengelola pesan Amazon SQS terkait masalah eventual consistency Amazon S3

Pesan Amazon SQS untuk masalah eventual consistency Amazon S3 dapat dibaca menggunakan CLI EMRFS. Untuk membaca pesan dari antrean EMRFS Amazon SQS, ketik perintah read-sqs dan tentukan lokasi output pada sistem file lokal simpul utama untuk file output yang dihasilkan.

Anda juga dapat menghapus antrean Amazon SQS EMRFS menggunakan perintah delete-sqs.

1. Untuk membaca pesan dari antrean Amazon SQS, ketik perintah berikut ini. Ganti queuename dengan nama antrian Amazon SQS yang Anda konfigurasikan dan ganti /path/filename dengan jalur ke file output:

   emrfs read-sqs --queue-name queuename --output-file /path/filename

   Misalnya, untuk membaca dan menampilkan pesan Amazon SQS dari antrean default, ketik:

   emrfs read-sqs --queue-name EMRFS-Inconsistency-j-162XXXXXXM2CU --output-file /path/filename

   catatan

   Anda juga dapat menggunakan pintasan -q and -o sebagai ganti dari --queue-name and --output-file masing-masing.

2. Untuk menghapus antrean Amazon SQS, ketik perintah berikut:

   emrfs delete-sqs --queue-name queuename

   Misalnya, untuk menghapus antrean default, ketik:

   emrfs delete-sqs --queue-name EMRFS-Inconsistency-j-162XXXXXXM2CU

   catatan

   Anda juga dapat menggunakan jalan pintas -q bukan --queue-name.