Tampilan konsisten - Amazon EMR

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Tampilan konsisten

Awas

Pada tanggal 1 Juni 2023, tampilan EMRFS yang konsisten akan mencapai akhir dukungan standar untuk EMR rilis Amazon di masa mendatang. EMRFStampilan konsisten akan terus berfungsi untuk rilis yang ada.

Dengan dirilisnya read-after-write konsistensi kuat Amazon S3 pada 1 Desember 2020, Anda tidak perlu lagi menggunakan tampilan EMRFS konsisten (EMRFSCV) dengan cluster Amazon EMR Anda. EMRFSCV adalah fitur opsional yang memungkinkan EMR cluster Amazon untuk memeriksa daftar dan read-after-write konsistensi untuk objek Amazon S3. Saat Anda membuat cluster dan EMRFS CV diaktifkan, Amazon EMR membuat database Amazon DynamoDB untuk menyimpan metadata objek yang digunakan untuk melacak daftar read-after-write dan konsistensi objek S3. Anda sekarang dapat mematikan EMRFS CV dan menghapus database DynamoDB yang digunakannya sehingga Anda tidak menambah biaya tambahan. Prosedur berikut menjelaskan cara memeriksa fitur CV, mematikannya, dan menghapus database DynamoDB yang digunakan fitur tersebut.

Untuk memeriksa apakah Anda menggunakan fitur EMRFS CV

  1. Arahkan ke tab Konfigurasi. Jika cluster Anda memiliki konfigurasi berikut, ia menggunakan EMRFS CV.

    Classification=emrfs-site,Property=fs.s3.consistent,Value=true

  2. Atau, gunakan AWS CLI untuk menggambarkan cluster Anda dengan describe-clusterAPI. Jika output berisifs.s3.consistent: true, cluster Anda menggunakan EMRFS CV.

Untuk mematikan EMRFS CV di EMR kluster Amazon Anda

Untuk mematikan fitur EMRFS CV, gunakan salah satu dari tiga opsi berikut. Anda harus menguji opsi ini di lingkungan pengujian Anda sebelum menerapkannya ke lingkungan produksi Anda.

  1. Untuk menghentikan cluster yang ada dan memulai cluster baru tanpa opsi EMRFS CV.

    1. Sebelum menghentikan klaster, pastikan Anda membuat cadangan data dan memberi tahu pengguna Anda.

    2. Untuk menghentikan klaster Anda, ikuti petunjuk di Mengakhiri klaster.

    3. Jika Anda menggunakan EMR konsol Amazon untuk membuat klaster baru, navigasikan ke Opsi Lanjutan. Di bagian Edit pengaturan perangkat lunak, batalkan pilihan opsi untuk mengaktifkan EMRFS CV. Jika kotak centang untuk tampilan EMRFS konsisten tersedia, jangan centang.

    4. Jika Anda gunakan AWS CLI untuk membuat cluster baru dengan create-clusterAPI, jangan gunakan --emrfs opsi, yang mengaktifkan EMRFS CV.

    5. Jika Anda menggunakan SDK atau AWS CloudFormation untuk membuat klaster baru, jangan gunakan konfigurasi apa pun yang tercantum dalam Konfigurasi tampilan konsisten.

  2. Untuk mengkloning cluster dan menghapus CV EMRFS

    1. Di EMR konsol Amazon, pilih cluster yang menggunakan EMRFS CV.

    2. Di bagian atas halaman Cluster Details, pilih Clone.

    3. Pilih Sebelumnya dan arahkan ke Langkah 1: Perangkat Lunak dan Langkah.

    4. Di Edit pengaturan perangkat lunak, hapus EMRFS CV. Dalam konfigurasi Edit, hapus konfigurasi berikut dalam emrfs-site klasifikasi. Jika Anda memuat JSON dari bucket S3, Anda harus memodifikasi objek S3 Anda.

      [
	{"classification":
		"emrfs-site",
		"properties": {
			"fs.s3.consistent.retryPeriodSeconds":"10",
			"fs.s3.consistent":"true",
			"fs.s3.consistent.retryCount":"5",
			"fs.s3.consistent.metadata.tableName":"EmrFSMetadata"
		}
	}
]
  3. Untuk menghapus EMRFS CV dari klaster yang menggunakan grup instance

    1. Gunakan perintah berikut untuk memeriksa apakah satu EMR cluster menggunakan tabel DynamoDB yang terkait EMRFS dengan CV, atau jika beberapa cluster berbagi tabel. Nama tabel ditentukan dalamfs.s3.consistent.metadata.tableName, seperti yang dijelaskan dalam Konfigurasi tampilan konsisten. Nama tabel default yang digunakan oleh EMRFS CV adalahEmrFSMetadata.

      aws emr describe-cluster --cluster-id j-XXXXX | grep fs.s3.consistent.metadata.tableName

    2. Jika klaster Anda tidak membagikan database DynamoDB Anda dengan cluster lain, gunakan perintah berikut untuk mengkonfigurasi ulang cluster dan menonaktifkan CV. EMRFS Untuk informasi selengkapnya, lihat Mengkonfigurasi ulang grup instans dalam klaster yang sedang berjalan.

      aws emr modify-instance-groups --cli-input-json file://disable-emrfs-1.json

      Perintah ini membuka file yang ingin Anda modifikasi. Ubah file dengan konfigurasi berikut.

      {
	"ClusterId": "j-xxxx",
	"InstanceGroups": [
		{
			"InstanceGroupId": "ig-xxxx",
			"Configurations": [
				{
					"Classification": "emrfs-site",
					"Properties": {
						"fs.s3.consistent": "false"
					},
					"Configurations": []
				}
			]
		}
	]
}

    3. Jika klaster Anda membagikan tabel DynamoDB dengan cluster lain, EMRFS matikan CV pada semua cluster pada saat tidak ada cluster yang memodifikasi objek apa pun di lokasi S3 bersama.

Untuk menghapus sumber daya Amazon DynamoDB yang terkait dengan CV EMRFS

Setelah Anda menghapus EMRFS CV dari EMR kluster Amazon Anda, hapus sumber daya DynamoDB yang terkait dengan CV. EMRFS Sampai Anda melakukannya, Anda terus dikenakan biaya DynamoDB yang terkait dengan CV. EMRFS

  1. Periksa CloudWatch metrik untuk tabel DynamoDB Anda dan konfirmasikan bahwa tabel tidak digunakan oleh cluster apa pun.

  2. Hapus tabel DynamoDB.

    aws dynamodb delete-table --table-name <your-table-name>
Untuk menghapus SQS sumber daya Amazon yang terkait dengan EMRFS CV

  1. Jika Anda mengonfigurasi klaster untuk mendorong notifikasi inkonsistensi ke AmazonSQS, Anda dapat menghapus semua SQS antrian.

  2. Temukan nama SQS antrian Amazon yang ditentukan dalamfs.s3.consistent.notification.SQS.queueName, seperti yang dijelaskan dalam Konfigurasi tampilan konsisten. Format nama antrian default adalahEMRFS-Inconsistency-<j-cluster ID>.

    aws sqs list-queues | grep ‘EMRFS-Inconsistency’
aws sqs delete-queue –queue-url <your-queue-url>
Untuk berhenti menggunakan EMRFS CLI

  • EMRFSCLIMengelola metadata yang dihasilkan EMRFS CV. Karena dukungan standar untuk EMRFS CV mencapai akhir dalam rilis Amazon di masa depanEMR, dukungan untuk CV juga EMRFS CLI akan mencapai akhir.

Topik