Mengkonfigurasi cluster untuk melanjutkan atau mengakhiri setelah eksekusi langkah

Topik ini menjelaskan perbedaan antara menggunakan cluster yang berjalan lama dan membuat klaster sementara yang mati setelah langkah terakhir berjalan. Ini juga mencakup cara mengkonfigurasi eksekusi langkah untuk cluster.

Buat cluster yang berjalan lama

Secara default, cluster yang Anda buat dengan konsol atau AWS CLI sudah berjalan lama. Cluster yang berjalan lama terus berjalan, menerima pekerjaan, dan menambah biaya sampai Anda mengambil tindakan untuk mematikannya.

Cluster yang berjalan lama efektif dalam situasi berikut:

• Saat Anda perlu melakukan kueri data secara interaktif atau otomatis.

• Ketika Anda perlu berinteraksi dengan aplikasi data besar yang dihosting di cluster secara berkelanjutan.

• Ketika Anda secara berkala memproses kumpulan data yang begitu besar atau lebih sering sehingga tidak efisien untuk meluncurkan cluster baru dan memuat data setiap kali.

Anda juga dapat mengatur perlindungan terminasi pada klaster yang berjalan lama untuk menghindari mematikan instans EC2 secara tidak sengaja atau kesalahan. Untuk informasi selengkapnya, lihat Menggunakan perlindungan pengakhiran.

catatan

Amazon EMR secara otomatis mengaktifkan perlindungan terminasi untuk semua cluster dengan beberapa node utama, dan mengganti pengaturan eksekusi langkah apa pun yang Anda berikan saat membuat klaster. Anda dapat menonaktifkan perlindungan terminasi setelah cluster diluncurkan. Lihat Mengonfigurasi perlindungan pengakhiran untuk menjalankan klaster. Untuk mematikan klaster dengan beberapa node primer, Anda harus terlebih dahulu memodifikasi atribut cluster untuk menonaktifkan perlindungan terminasi. Untuk petunjuk, silakan lihat Mengakhiri Cluster EMR Amazon dengan beberapa node utama.

Konfigurasikan cluster untuk mengakhiri setelah eksekusi langkah

Saat Anda mengonfigurasi penghentian setelah eksekusi langkah, cluster dimulai, menjalankan tindakan bootstrap, dan kemudian menjalankan langkah-langkah yang Anda tentukan. Segera setelah langkah terakhir selesai, Amazon EMR menghentikan instans Amazon EC2 cluster. Cluster yang Anda luncurkan dengan Amazon EMR API memiliki eksekusi langkah yang diaktifkan secara default.

Pengakhiran setelah eksekusi langkah efektif untuk cluster yang melakukan tugas pemrosesan berkala, seperti menjalankan pemrosesan data harian. Eksekusi langkah juga membantu Anda memastikan bahwa Anda ditagih hanya untuk waktu yang diperlukan untuk memproses data Anda. Untuk informasi selengkapnya tentang langkah-langkahnya, lihat Kirim pekerjaan ke sebuah klaster.

catatan

Kami telah mendesain ulang konsol EMR Amazon agar lebih mudah digunakan. Lihat Apa yang baru dengan konsol? untuk mempelajari tentang perbedaan antara pengalaman konsol lama dan baru.

New console

Untuk mengaktifkan eksekusi langkah dengan konsol baru

1. Masuk keAWS Management Console, dan buka konsol EMR Amazon di https://console.aws.amazon.com/emr.

2. Di bawah EMR pada EC2 di panel navigasi kiri, pilih Clusters, lalu pilih Create cluster.

3. Di bawah Langkah, pilih Tambahkan langkah. Dalam Tambahkan langkah dialog, masukkan nilai bidang yang sesuai. Opsi akan berbeda tergantung pada tipe langkah. Untuk menambahkan langkah Anda dan keluar dari dialog, pilih Tambah langkah.

4. Di bawah Pengakhiran klaster, pilih kotak centang Hentikan klaster setelah langkah terakhir selesai.

5. Pilih opsi lain yang berlaku untuk cluster Anda.

6. Untuk meluncurkan klaster Anda, pilih Buat klaster.

Old console

Untuk mengaktifkan eksekusi langkah dengan konsol lama

1. Arahkan ke konsol EMR Amazon baru dan pilih Beralih ke konsol lama dari navigasi samping. Untuk informasi selengkapnya tentang apa yang diharapkan saat beralih ke konsol lama, lihat Menggunakan konsol lama.

2. Pilih Buat klaster.

3. Pilih Eksekusi langkah.

4. Pilih pengaturan lain yang sesuai untuk aplikasi Anda, lalu pilih Buat klaster.

AWS CLI

Untuk mengaktifkan eksekusi langkah dengan AWS CLI

• Tentukan parameter --auto-terminate saat Anda menggunakan perintah create-cluster untuk membuat klaster sementara.

  Contoh berikut menunjukkan bagaimana menggunakan --auto-terminate parameter. Anda dapat mengetik perintah berikut dan mengganti myKeydengan nama pasangan kunci EC2 anda.

  catatan

  Karakter lanjutan baris Linux (\) disertakan agar mudah dibaca. Karakter ini bisa dihapus atau digunakan dalam perintah Linux. Untuk Windows, hapus atau ganti dengan tanda sisipan (^).

  aws emr create-cluster --name "Test cluster" --release-label emr-7.0.0 \
  --applications Name=Hive Name=Pig --use-default-roles --ec2-attributes KeyName=myKey \
  --steps Type=PIG,Name="Pig Program",ActionOnFailure=CONTINUE,\
  Args=[-f,s3://mybucket/scripts/pigscript.pig,-p,\
  INPUT=s3://mybucket/inputdata/,-p,OUTPUT=s3://mybucket/outputdata/,\
  $INPUT=s3://mybucket/inputdata/,$OUTPUT=s3://mybucket/outputdata/]
  --instance-type m5.xlarge --instance-count 3 --auto-terminate

API

Untuk mematikan eksekusi langkah dengan Amazon EMR API

• Saat Anda menggunakan RunJobFlowtindakan untuk membuat klaster, setel KeepJobFlowAliveWhenNoStepsproperti ketrue.