Tampilan konsisten - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Tampilan konsisten

Awas

Pada tanggal 1 Juni 2023, tampilan konsisten EMRFS akan mencapai akhir dukungan standar untuk rilis EMR Amazon di masa mendatang. Tampilan konsisten EMRFS akan terus berfungsi untuk rilis yang ada.

Dengan dirilisnya read-after-write konsistensi kuat Amazon S3 pada 1 Desember 2020, Anda tidak perlu lagi menggunakan tampilan konsisten EMRFS (EMRFS CV) dengan kluster EMR Amazon Anda. EMRFS CV adalah fitur opsional yang memungkinkan cluster EMR Amazon untuk memeriksa daftar dan konsistensi untuk objek read-after-write Amazon S3. Saat Anda membuat cluster dan CV EMRFS diaktifkan, Amazon EMR membuat database Amazon DynamoDB untuk menyimpan metadata objek yang digunakan untuk melacak daftar dan konsistensi objek S3. read-after-write Anda sekarang dapat mematikan EMRFS CV dan menghapus database DynamoDB yang digunakannya sehingga Anda tidak menambah biaya tambahan. Prosedur berikut menjelaskan cara memeriksa fitur CV, mematikannya, dan menghapus database DynamoDB yang digunakan fitur tersebut.

Untuk memeriksa apakah Anda menggunakan fitur EMRFS CV

  1. Arahkan ke tab Konfigurasi. Jika cluster Anda memiliki konfigurasi berikut, ia menggunakan EMRFS CV.

    Classification=emrfs-site,Property=fs.s3.consistent,Value=true

  2. Atau, gunakan AWS CLI untuk mendeskripsikan klaster Anda dengan describe-clusterAPI. Jika output berisifs.s3.consistent: true, cluster Anda menggunakan EMRFS CV.

Untuk mematikan CV EMRFS di kluster EMR Amazon Anda

Untuk mematikan fitur EMRFS CV, gunakan salah satu dari tiga opsi berikut. Anda harus menguji opsi ini di lingkungan pengujian Anda sebelum menerapkannya ke lingkungan produksi Anda.

  1. Untuk menghentikan cluster yang ada dan memulai cluster baru tanpa opsi CV EMRFS.

    1. Sebelum menghentikan klaster, pastikan Anda membuat cadangan data dan memberi tahu pengguna Anda.

    2. Untuk menghentikan klaster Anda, ikuti petunjuk di Mengakhiri klaster.

    3. Jika Anda menggunakan konsol EMR Amazon untuk membuat klaster baru, navigasikan ke Opsi Lanjutan. Di bagian Edit pengaturan perangkat lunak, batalkan pilihan opsi untuk mengaktifkan CV EMRFS. Jika kotak centang untuk tampilan konsisten EMRFS tersedia, jangan centang.

    4. Jika Anda menggunakan AWS CLI untuk membuat cluster baru dengan create-clusterAPI, jangan gunakan --emrfs opsi, yang mengaktifkan EMRFS CV.

    5. Jika Anda menggunakan SDK atau AWS CloudFormation membuat klaster baru, jangan gunakan konfigurasi apa pun yang tercantum dalam Konfigurasi tampilan konsisten.

  2. Untuk mengkloning cluster dan menghapus EMRFS CV

    1. Di konsol EMR Amazon, pilih cluster yang menggunakan CV EMRFS.

    2. Di bagian atas halaman Cluster Details, pilih Clone.

    3. Pilih Sebelumnya dan arahkan ke Langkah 1: Perangkat Lunak dan Langkah.

    4. Di Edit pengaturan perangkat lunak, hapus CV EMRFS. Dalam konfigurasi Edit, hapus konfigurasi berikut dalam emrfs-site klasifikasi. Jika Anda memuat JSON dari bucket S3, Anda harus memodifikasi objek S3 Anda.

      [
	{"classification":
		"emrfs-site",
		"properties": {
			"fs.s3.consistent.retryPeriodSeconds":"10",
			"fs.s3.consistent":"true",
			"fs.s3.consistent.retryCount":"5",
			"fs.s3.consistent.metadata.tableName":"EmrFSMetadata"
		}
	}
]
  3. Untuk menghapus CV EMRFS dari cluster yang menggunakan grup instance

    1. Gunakan perintah berikut untuk memeriksa apakah satu kluster EMR menggunakan tabel DynamoDB yang terkait dengan CV EMRFS, atau jika beberapa cluster berbagi tabel. Nama tabel ditentukan dalamfs.s3.consistent.metadata.tableName, seperti yang dijelaskan dalam Konfigurasi tampilan konsisten. Nama tabel default yang digunakan oleh EMRFS CV adalah. EmrFSMetadata

      aws emr describe-cluster --cluster-id j-XXXXX | grep fs.s3.consistent.metadata.tableName

    2. Jika cluster Anda tidak berbagi database DynamoDB Anda dengan cluster lain, gunakan perintah berikut untuk mengkonfigurasi ulang cluster dan menonaktifkan EMRFS CV. Untuk informasi selengkapnya, lihat Mengkonfigurasi ulang grup instans dalam klaster yang sedang berjalan.

      aws emr modify-instance-groups --cli-input-json file://disable-emrfs-1.json

      Perintah ini membuka file yang ingin Anda modifikasi. Ubah file dengan konfigurasi berikut.

      {
	"ClusterId": "j-xxxx",
	"InstanceGroups": [
		{
			"InstanceGroupId": "ig-xxxx",
			"Configurations": [
				{
					"Classification": "emrfs-site",
					"Properties": {
						"fs.s3.consistent": "false"
					},
					"Configurations": []
				}
			]
		}
	]
}

    3. Jika klaster Anda membagikan tabel DynamoDB dengan klaster lain, matikan CV EMRFS di semua cluster pada saat tidak ada cluster yang memodifikasi objek apa pun di lokasi S3 bersama.

Untuk menghapus sumber daya Amazon DynamoDB yang terkait dengan EMRFS CV

Setelah Anda menghapus CV EMRFS dari kluster Amazon EMR Anda, hapus sumber daya DynamoDB yang terkait dengan CV EMRFS. Sampai Anda melakukannya, Anda terus dikenakan biaya DynamoDB yang terkait dengan EMRFS CV.

  1. Periksa CloudWatch metrik untuk tabel DynamoDB Anda dan konfirmasikan bahwa tabel tidak digunakan oleh cluster apa pun.

  2. Hapus tabel DynamoDB.

    aws dynamodb delete-table --table-name <your-table-name>
Untuk menghapus sumber daya Amazon SQS yang terkait dengan EMRFS CV

  1. Jika Anda mengonfigurasi klaster untuk mendorong notifikasi inkonsistensi ke Amazon SQS, Anda dapat menghapus semua antrian SQS.

  2. Temukan nama antrian Amazon SQS yang ditentukan dalamfs.s3.consistent.notification.SQS.queueName, seperti yang dijelaskan dalam Konfigurasi tampilan konsisten. Format nama antrian default adalahEMRFS-Inconsistency-<j-cluster ID>.

    aws sqs list-queues | grep ‘EMRFS-Inconsistency’
aws sqs delete-queue –queue-url <your-queue-url>
Untuk berhenti menggunakan EMRFS CLI

  • CLI EMRFS mengelola metadata yang dihasilkan EMRFS CV. Karena dukungan standar untuk EMRFS CV mencapai akhir dalam rilis Amazon EMR di masa depan, dukungan untuk EMRFS CLI juga akan mencapai akhir.

Topik