Konfigurasi pemberitahuan konsistensi untuk CloudWatch Amazon SQS

Anda dapat mengaktifkan CloudWatch metrik dan pesan Amazon SQS di EMRFS untuk masalah eventual consistency Amazon S3.

CloudWatch

Jika CloudWatch metrik diaktifkan, metrik bernama Inkonsistensi didorong setiap kali panggilanFileSystem API gagal karena eventual consistency Amazon S3.

Untuk melihat CloudWatch metrik terkait masalah eventual consistency Amazon S3

Untuk melihat Inkonsistensi di CloudWatch konsol, pilih metrik EMRFS, lalu pilih pasangan JobFlowId/Nama Metrik. Misalnya: j-162XXXXXXM2CU ListStatus, j-162XXXXXXM2CU GetFileStatus, dan seterusnya.

1. Buka CloudWatch konsol di https://console.aws.amazon.com/cloudwatch/.

2. Di Dasbor, pada bagian Metrik, pilih EMRFS.

3. Di panel Metrik Alur Job, pilih satu atau beberapa pasangan JobFlowId/Nama Metrik. Representasi grafis dari metrik muncul pada jendela di bawah ini.

Amazon SQS

Jika pemberitahuan Amazon SQS diaktifkan, antrean Amazon SQS dengan nama EMRFS-Inconsistency-<jobFlowId> dibuat saat EMRFS diinisialisasi. Pesan Amazon SQS didorong ke dalam antrean saat panggilan API FileSystem gagal karena eventual consistency Amazon S3. Pesan tersebut berisi informasi seperti JobFlowId, API, daftar jalur yang tidak konsisten, pelacakan tumpukan, dan sebagainya. Pesan dapat dibaca menggunakan konsol Amazon SQS atau menggunakan perintah read-sqs EMRFS.

Untuk mengelola pesan Amazon SQS terkait masalah eventual consistency Amazon S3

Pesan Amazon SQS untuk masalah eventual consistency Amazon S3 dapat dibaca menggunakan CLI EMRFS. Untuk membaca pesan dari antrean EMRFS Amazon SQS, ketik perintah read-sqs dan tentukan lokasi output pada sistem file lokal simpul utama untuk file output yang dihasilkan.

Anda juga dapat menghapus antrean Amazon SQS EMRFS menggunakan perintah delete-sqs.

1. Untuk membaca pesan dari antrean Amazon SQS, ketik perintah berikut ini. Ganti antrean nama dengan nama antrean Amazon SQS yang Anda dikonfigurasi dan ganti /jalur/nama file dengan jalur ke file output:

   emrfs read-sqs --queue-name queuename --output-file /path/filename

   Misalnya, untuk membaca dan menampilkan pesan Amazon SQS dari antrean default, ketik:

   emrfs read-sqs --queue-name EMRFS-Inconsistency-j-162XXXXXXM2CU --output-file /path/filename

   catatan

   Anda juga dapat menggunakan pintasan -q and -o sebagai ganti dari --queue-name and --output-file masing-masing.

2. Untuk menghapus antrean Amazon SQS, ketik perintah berikut:

   emrfs delete-sqs --queue-name queuename

   Misalnya, untuk menghapus antrean default, ketik:

   emrfs delete-sqs --queue-name EMRFS-Inconsistency-j-162XXXXXXM2CU

   catatan

   Anda juga dapat menggunakan jalan pintas -q bukan --queue-name.