Menggunakan perlindungan pengakhiran

Perlindungan terminasi melindungi klaster Anda dari penghentian yang tidak disengaja, yang dapat sangat berguna untuk klaster yang berjalan lama yang memproses beban kerja penting. Saat perlindungan pengakhiran diaktifkan pada klaster yang berjalan lama, Anda masih dapat mengakhiri klaster, tetapi Anda harus secara gamblang menghapus perlindungan pengakhiran dari klaster terlebih dahulu. Ini membantu memastikan bahwa instans EC2 tidak dimatikan karena kecelakaan atau kesalahan. Anda dapat mengaktifkan perlindungan pengakhiran saat membuat klaster, dan Anda dapat mengubah pengaturan pada klaster yang sedang berjalan.

Dengan perlindungan penghentian yang diaktifkan, tindakan TerminateJobFlows di API Amazon EMR tidak bekerja. Pengguna tidak dapat mengakhiri klaster menggunakan API ini atau perintah terminate-clusters dari AWS CLI. API mengembalikan kesalahan, dan CLI keluar dengan kode pengembalian bukan nol. Saat Anda menggunakan konsol EMR Amazon untuk menghentikan klaster, Anda akan diminta langkah ekstra untuk menonaktifkan perlindungan penghentian.

Awas

Perlindungan pengakhiran tidak menjamin bahwa data akan disimpan jika terjadi kesalahan manusia atau suatu solusi—misalnya, jika perintah reboot dikeluarkan dari baris perintah saat terhubung ke instans menggunakan SSH, jika aplikasi atau skrip berjalan pada instans yang mengeluarkan perintah mulai ulang, atau jika Amazon EC2 atau Amazon EMR API digunakan untuk menonaktifkan perlindungan pengakhiran. Ini juga benar jika Anda menjalankan Amazon EMR rilis 7.1 dan lebih tinggi dan instance menjadi tidak sehat dan tidak dapat dipulihkan. Bahkan dengan perlindungan pengakhiran yang diaktifkan, data yang disimpan di penyimpanan instans, termasuk data HDFS, dapat hilang. Tulis keluaran data ke lokasi Amazon S3 dan buat strategi pencadangan yang sesuai untuk kebutuhan kelangsungan bisnis Anda.

Pengakhiran penghentian tidak memengaruhi kemampuan Anda untuk menskalakan sumber daya klaster menggunakan salah satu tindakan berikut:

• Mengubah ukuran cluster secara manual dengan AWS Management Console atau AWS CLI. Untuk informasi selengkapnya, lihat Secara manual mengubah ukuran klaster berjalan.

• Menghapus instance dari grup instans inti atau tugas menggunakan kebijakan penskalaan kedalam dengan penskalaan otomatis. Untuk informasi selengkapnya, lihat Menggunakan penskalaan otomatis dengan kebijakan kustom untuk grup instans.

• Menghapus instans dari armada instans dengan mengurangi kapasitas target. Untuk informasi selengkapnya, lihat Opsi armada instans.

Perlindungan pengakhiran dan Amazon EC2

Setelan perlindungan penghentian di klaster EMR Amazon sesuai dengan DisableApiTermination atribut untuk semua instans Amazon EC2 di cluster. Misalnya, jika Anda mengaktifkan perlindungan penghentian di kluster EMR, Amazon EMR secara otomatis menyetel DisableApiTermination ke true untuk semua instans EC2 dalam kluster EMR. Hal yang sama berlaku jika Anda menonaktifkan perlindungan penghentian. Amazon EMR secara otomatis menyetel DisableApiTermination ke false untuk semua instans EC2 dalam kluster EMR. Jika Anda menghentikan atau menurunkan skala cluster dari Amazon EMR dan setelan Amazon EC2 bertentangan untuk instans EC2, Amazon EMR memprioritaskan pengaturan EMR Amazon daripada pengaturan dan di Amazon EC2 DisableApiStop dan DisableApiTermination terus menghentikan instans EC2.

Misalnya, Anda dapat menggunakan konsol Amazon EC2 untuk mengaktifkan perlindungan penghentian pada instans Amazon EC2 di kluster EMR dengan perlindungan penghentian dinonaktifkan. Jika Anda menghentikan atau mengurangi skala cluster dengan konsol EMR Amazon, API EMR Amazon, AWS CLI atau Amazon EMR API, Amazon EMR akan mengganti pengaturan, DisableApiTermination menyetelnya ke false, dan menghentikan instance bersama dengan instance lainnya.

Anda juga dapat menggunakan konsol Amazon EC2 untuk mengaktifkan perlindungan berhenti pada instans Amazon EC2 di kluster EMR dengan perlindungan penghentian dinonaktifkan. Jika Anda menghentikan atau mengurangi skala klaster, Amazon EMR akan DisableApiStop disetel ke false di Amazon EC2 dan menghentikan instance bersama instans lainnya.

Amazon EMR mengesampingkan DisableApiStop pengaturan hanya jika Anda menghentikan atau menurunkan skala cluster. Saat Anda mengaktifkan atau menonaktifkan perlindungan penghentian di kluster EMR, Amazon EMR tidak mengubah disableApiStop setelan untuk instans EC2 mana pun di kluster EMR masing-masing.

penting

Jika Anda membuat instance sebagai bagian dari kluster EMR Amazon dengan perlindungan terminasi, dan Anda menggunakan API Amazon EC2 AWS CLI atau perintah untuk memodifikasi instans, lalu DisableApiTermination API AWS CLI atau perintah Amazon EC2 menjalankan operasiTerminateInstances, instans Amazon EC2 akan berakhir. false

Perlindungan pengakhiran dan simpulYARN yang tidak sehat

Amazon EMR secara berkala memeriksa status Apache Hadoop YARN dari simpul yang berjalan pada instans Amazon EC2 inti dan tugas dalam sebuah klasster. Status kesehatan dilaporkan oleh layanan pemeriksa NodeManager kesehatan. Jika sebuah node melaporkanUNHEALTHY, pengontrol instans EMR Amazon menambahkan node ke denylist dan tidak mengalokasikan kontainer YARN ke sana sampai menjadi sehat kembali. Bergantung pada status perlindungan terminasi, penggantian node yang tidak sehat, dan versi rilis Amazon EMR, Amazon EMR akan mengganti instans yang tidak sehat atau berhenti mengalokasikan pengontrol ke instans.

Perlindungan penghentian dan penghentian setelah eksekusi langkah

Saat Anda mengaktifkan penghentian setelah eksekusi langkah dan juga mengaktifkan perlindungan penghentian, Amazon EMR mengabaikan perlindungan penghentian.

Saat Anda mengirimkan langkah ke suatu klaster, Anda dapat mengatur properti ActionOnFailure untuk menentukan apa yang terjadi jika langkah tersebut tidak dapat menyelesaikan pelaksanaan karena mengalami kesalahan. Nilai yang mungkin untuk pengaturan ini adalah TERMINATE_CLUSTER (TERMINATE_JOB_FLOWdengan versi yang lebih lama), CANCEL_AND_WAIT, dan CONTINUE. Untuk informasi selengkapnya, lihat Kirim pekerjaan ke sebuah klaster.

Jika langkah gagal yang dikonfigurasi dengan ActionOnFailure set keCANCEL_AND_WAIT, jika penghentian setelah eksekusi langkah diaktifkan, cluster akan berakhir tanpa mengeksekusi langkah selanjutnya.

Jika langkah yang mengalami kegagalan yang dikonfigurasi dengan set ActionOnFailure ke TERMINATE_CLUSTER, gunakan tabel pengaturan di bawah ini untuk menentukan hasilnya.

ActionOnFailure	Penghentian setelah eksekusi langkah	Perlindungan pengakhiran	Hasil
TERMINATE_CLUSTER	Diaktifkan	Nonaktif	Klaster berakhir
	Diaktifkan	Diaktifkan	Klaster berakhir
	Nonaktif	Diaktifkan	Klaster berlanjut
	Nonaktif	Nonaktif	Klaster berakhir

Perlindungan pengakhiran dan Instans Spot

Perlindungan penghentian EMR Amazon tidak mencegah Instans Spot Amazon EC2 berakhir ketika harga Spot naik di atas harga Spot maksimum.

Mengonfigurasi perlindungan pengakhiran saat Anda meluncurkan klaster

Anda dapat mengaktifkan atau menonaktifkan perlindungan terminasi saat meluncurkan klaster menggunakan konsol, the AWS CLI, atau API.

Untuk cluster simpul tunggal, pengaturan perlindungan terminasi default adalah sebagai berikut:

• Meluncurkan cluster oleh Amazon EMR Console —Perlindungan Terminasi dinonaktifkan secara default.

• Meluncurkan cluster oleh AWS CLI aws emr create-cluster —Termination Protection dinonaktifkan kecuali --termination-protected ditentukan.

• Meluncurkan klaster dengan RunJobFlowperintah Amazon EMR API—Perlindungan Penghentian dinonaktifkan kecuali nilai TerminationProtected boolean disetel ke. true

Untuk cluster ketersediaan tinggi, pengaturan perlindungan terminasi default adalah sebagai berikut:

• Meluncurkan cluster oleh Amazon EMR Console - Perlindungan Terminasi diaktifkan secara default.

• Meluncurkan cluster oleh AWS CLI aws emr create-cluster —Termination Protection dinonaktifkan kecuali --termination-protected ditentukan.

• Meluncurkan klaster dengan RunJobFlowperintah Amazon EMR API—Perlindungan Penghentian dinonaktifkan kecuali nilai TerminationProtected boolean disetel ke. true

Console

Untuk mengaktifkan atau menonaktifkan perlindungan terminasi saat Anda membuat klaster dengan konsol

1. Masuk ke AWS Management Console, dan buka konsol EMR Amazon di https://console.aws.amazon.com/emr.

2. Di bawah EMR pada EC2 di panel navigasi kiri, pilih Clusters, lalu pilih Create cluster.

3. Untuk versi rilis EMR, pilih emr-6.6.0 atau yang lebih baru.

4. Di bawah terminasi Cluster dan penggantian node, pastikan bahwa perlindungan Use terminasi telah dipilih sebelumnya, atau hapus pilihan untuk mematikannya.

5. Pilih opsi lain yang berlaku untuk cluster Anda.

6. Untuk meluncurkan klaster Anda, pilih Buat klaster.

AWS CLI

Untuk mengaktifkan atau menonaktifkan perlindungan terminasi saat Anda membuat klaster menggunakan AWS CLI

• Dengan AWS CLI, Anda dapat meluncurkan cluster dengan perlindungan terminasi diaktifkan dengan create-cluster perintah dengan --termination-protected parameter. Perlindungan pengakhiran dinonaktifkan secara default.

  Berikut adalah contoh membuat klaster dengan perlindungan pengakhiran yang diaktifkan:

  catatan

  Karakter lanjutan baris Linux (\) disertakan agar mudah dibaca. Karakter ini bisa dihapus atau digunakan dalam perintah Linux. Untuk Windows, hapus atau ganti dengan tanda sisipan (^).

  aws emr create-cluster --name "TerminationProtectedCluster" --release-label emr-7.1.0 \
  --applications Name=Hadoop Name=Hive Name=Pig \
  --use-default-roles --ec2-attributes KeyName=myKey --instance-type m5.xlarge \
  --instance-count 3 --termination-protected

  Untuk informasi selengkapnya tentang menggunakan perintah EMR Amazon di AWS CLI, lihat. https://docs.aws.amazon.com/cli/latest/reference/emr

Mengonfigurasi perlindungan pengakhiran untuk menjalankan klaster

Anda dapat mengonfigurasi perlindungan terminasi untuk cluster yang sedang berjalan dengan konsol atau file AWS CLI.

Console

Untuk mengaktifkan atau menonaktifkan perlindungan terminasi untuk cluster yang sedang berjalan dengan konsol

1. Masuk ke AWS Management Console, dan buka konsol EMR Amazon di https://console.aws.amazon.com/emr.

2. Di bawah EMR pada EC2 di panel navigasi kiri, pilih Cluster, dan pilih cluster yang ingin Anda perbarui.

3. Pada tab Properties pada halaman detail cluster, temukan Pengakhiran cluster dan pilih Edit.

4. Pilih atau kosongkan kotak centang Gunakan perlindungan penghentian untuk mengaktifkan atau menonaktifkan fitur. Kemudian pilih Simpan perubahan untuk mengonfirmasi.

AWS CLI

Untuk mengaktifkan atau menonaktifkan perlindungan terminasi untuk klaster yang sedang berjalan menggunakan AWS CLI

• Untuk mengaktifkan perlindungan terminasi pada cluster yang sedang berjalan dengan AWS CLI, gunakan modify-cluster-attributes perintah dengan --termination-protected parameter. Untuk menonaktifkannya, gunakan parameter --no-termination-protected.

  Berikut adalah contoh mengaktifkan perlindungan pengakhiran pada klaster dengan ID j-3KVTXXXXXX7UG:

  aws emr modify-cluster-attributes --cluster-id j-3KVTXXXXXX7UG --termination-protected

  Berikut adalah contoh menonaktifkan perlindungan pengakhiran pada klaster yang sama:

  aws emr modify-cluster-attributes --cluster-id j-3KVTXXXXXX7UG --no-termination-protected