Tampilan konsisten - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Tampilan konsisten

Awas

Pada tanggal 1 Juni 2023, pandangan konsisten EMRFS akan mencapai akhir dukungan standar untuk rilis Amazon EMR di future. Tampilan konsisten EMRFS akan terus bekerja untuk rilis yang ada.

Dengan dirilisnya read-after-write konsistensi kuat Amazon S3 pada 1 Desember 2020, Anda tidak perlu lagi menggunakan tampilan konsisten EMRFS (EMRFS CV) dengan klaster Amazon EMR Anda. EMRFS CV adalah fitur opsional yang memungkinkan klaster Amazon EMR untuk memeriksa daftar dan read-after-write konsistensi objek Amazon S3. Saat Anda membuat sebuah klaster dan EMRFS CV diaktifkan, Amazon EMR membuat basis data Amazon DynamoDB untuk menyimpan metadata objek yang digunakan untuk melacak daftar dan read-after-write konsistensi bagi objek S3. Anda sekarang dapat mematikan EMRFS CV dan menghapus database DynamoDB yang digunakannya sehingga Anda tidak mendapatkan biaya tambahan. Prosedur berikut menjelaskan cara memeriksa fitur CV, mematikannya, dan menghapus database DynamoDB yang digunakan fitur tersebut.

Untuk memeriksa apakah Anda menggunakan fitur EMRFS CV
  1. Arahkan ke tab Konfigurasi. Jika klaster Anda memiliki konfigurasi berikut, ia menggunakan EMRFS CV.

    Classification=emrfs-site,Property=fs.s3.consistent,Value=true
  2. Bergantian, gunakanAWS CLI untuk menggambarkan klaster Anda dengan describe-clusterAPI. Jika output berisifs.s3.consistent: true, klaster Anda menggunakan EMRFS CV.

Untuk menonaktifkan EMRFS CV di klaster Amazon EMR Anda

Untuk mematikan fitur EMRFS CV, gunakan salah satu dari tiga opsi berikut. Anda harus menguji opsi ini di lingkungan pengujian Anda sebelum menerapkannya ke lingkungan produksi Anda.

  1. Untuk menghentikan klaster yang ada dan memulai cluster baru tanpa opsi EMRFS CV.
    1. Sebelum menghentikan klaster, pastikan Anda mencadangkan data dan memberi tahu pengguna.

    2. Untuk menghentikan klaster Anda, ikuti petunjuk di Menghentikan klaster.

    3. Jika Anda menggunakan konsol Amazon EMR untuk membuat klaster baru, buka Opsi Lanjutan. Di bagian Edit pengaturan perangkat lunak, batalkan pilihan opsi untuk mengaktifkan EMRFS CV. Jika kotak centang untuk tampilan konsisten EMRFS tersedia, tetap tidak dicentang.

    4. Jika Anda menggunakanAWS CLI untuk membuat cluster baru dengan create-clusterAPI, jangan gunakan--emrfs opsi, yang mengaktifkan EMRFS CV.

    5. Jika Anda menggunakan SDK atauAWS CloudFormation untuk membuat klaster baru, jangan gunakan konfigurasi apa pun yang tercantum dalam Konfigurasi tampilan yang konsisten.

  2. Untuk meng-klon klaster dan menghapus EMRFS CV
    1. Di konsol Amazon EMR, pilih klaster yang menggunakan EMRFS CV.

    2. Di bagian atas halaman Detail Cluster, pilih Clone.

    3. Pilih Sebelumnya dan arahkan ke Langkah 1: Perangkat Lunak dan Langkah.

    4. Di Edit pengaturan perangkat lunak, hapus EMRFS CV. Di Edit konfigurasi, hapus konfigurasi berikut dalamemrfs-site klasifikasi. Jika Anda memuat JSON dari bucket S3, Anda harus memodifikasi objek S3 Anda.

      [ {"classification": "emrfs-site", "properties": { "fs.s3.consistent.retryPeriodSeconds":"10", "fs.s3.consistent":"true", "fs.s3.consistent.retryCount":"5", "fs.s3.consistent.metadata.tableName":"EmrFSMetadata" } } ]
  3. Untuk menghapus EMRFS CV dari cluster yang menggunakan grup instance
    1. Gunakan perintah berikut untuk memeriksa apakah klaster EMR tunggal menggunakan tabel DynamoDB yang dikaitkan dengan EMRFS CV, atau jika beberapa cluster berbagi tabel. Nama tabel ditentukan dalamfs.s3.consistent.metadata.tableName, seperti yang dijelaskan dalam Konfigurasi tampilan yang konsisten. Nama tabel default yang digunakan oleh EMRFS CV adalahEmrFSMetadata.

      aws emr describe-cluster --cluster-id j-XXXXX | grep fs.s3.consistent.metadata.tableName
    2. Jika klaster Anda tidak membagikan database DynamoDB Anda dengan klaster lain, gunakan perintah berikut untuk mengkonfigurasi ulang klaster dan menonaktifkan EMRFS CV. Untuk informasi selengkapnya, lihat Lakukan konfigurasi ulang pada grup instans di klaster yang sedang berjalan.

      aws emr modify-instance-groups --cli-input-json file://disable-emrfs-1.json

      Perintah ini membuka file yang ingin Anda ubah. Memodifikasi file dengan konfigurasi berikut.

      { "ClusterId": "j-xxxx", "InstanceGroups": [ { "InstanceGroupId": "ig-xxxx", "Configurations": [ { "Classification": "emrfs-site", "Properties": { "fs.s3.consistent": "false" }, "Configurations": [] } ] } ] }
    3. Jika klaster Anda membagikan tabel DynamoDB dengan klaster lain, matikan EMRFS CV pada semua klaster pada saat tidak ada klaster yang memodifikasi objek apa pun di lokasi S3 bersama.

Untuk menghapus sumber daya Amazon DynamoDB yang terkait dengan EMRFS CV

Setelah Anda menghapus EMRFS CV dari klaster Amazon EMR Anda, hapus sumber daya DynamoDB yang terkait dengan EMRFS CV. Sampai Anda melakukannya, Anda terus dikenakan biaya DynamoDB terkait dengan EMRFS CV.

  1. Periksa CloudWatch metrik untuk tabel DynamoDB Anda dan konfirmasikan bahwa tabel tidak digunakan oleh klaster mana pun.

  2. Hapus tabel DynamoDB.

    aws dynamodb delete-table --table-name <your-table-name>
Untuk menghapus sumber daya Amazon SQS yang terkait dengan EMRFS CV
  1. Jika Anda mengonfigurasi klaster untuk mendorong notifikasi inkonsistensi ke Amazon SQS, Anda dapat menghapus semua antrean SQS.

  2. Temukan nama antrean Amazon SQS yang ditentukan dalamfs.s3.consistent.notification.SQS.queueName, seperti yang dijelaskan dalam Konfigurasi tampilan yang konsisten. Format nama antrian default adalahEMRFS-Inconsistency-<j-cluster ID>.

    aws sqs list-queues | grep ‘EMRFS-Inconsistency’ aws sqs delete-queue –queue-url <your-queue-url>
Untuk berhenti menggunakan EMRFS CLI
  • EMRFS CLI mengelola metadata yang dihasilkan EMRFS CV. Karena dukungan standar untuk EMRFS CV mencapai akhir dalam rilis Amazon EMR di future, dukungan untuk EMRFS CLI juga akan mencapai akhirnya.