Menggunakan kebijakan penghentian otomatis

Kebijakan penghentian otomatis memungkinkan Anda mengatur pembersihan klaster tanpa perlu memantau dan menghentikan kluster yang tidak digunakan secara manual. Saat menambahkan kebijakan penghentian otomatis ke klaster, Anda menentukan jumlah waktu idle setelah klaster akan mati secara otomatis.

Bergantung pada versi rilis, Amazon EMR menggunakan kriteria yang berbeda untuk menandai cluster sebagai idle. Tabel berikut menguraikan bagaimana Amazon EMR menentukan kemalasan cluster.

Saat Anda menggunakan...	Sebuah cluster dianggap menganggur ketika...
Amazon EMR versi 5.34.0 dan yang lebih baru, dan 6.4.0 dan yang lebih baru	Tidak ada aplikasi YARN aktif Pemanfaatan HDFS di bawah 10% Tidak ada notebook EMR aktif atau koneksi EMR Studio Tidak ada antarmuka pengguna aplikasi on-cluster yang digunakan Tidak ada langkah yang tertunda
Amazon EMR versi 5.30.0 - 5.33.0 dan 6.1.0 - 6.3.0	Tidak ada aplikasi YARN aktif Cluster tidak memiliki pekerjaan Spark aktif catatan Amazon EMR menandai klaster sebagai idle dan dapat secara otomatis menghentikan klaster meskipun Anda memiliki kernel Python3 yang aktif. Ini karena menjalankan kernel Python3 tidak mengirimkan pekerjaan Spark di cluster. Untuk menggunakan penghentian otomatis dengan kernel Python3, sebaiknya gunakan Amazon EMR versi 6.4.0 atau yang lebih baru.

catatan

Amazon EMR versi 6.4.0 dan yang lebih baru mendukung file on-cluster untuk mendeteksi aktivitas pada node utama:. /emr/metricscollector/isbusy Saat Anda menggunakan klaster untuk menjalankan skrip shell atau aplikasi non-Yarn, Anda dapat menyentuh atau memperbarui secara berkala isbusy untuk memberi tahu Amazon EMR bahwa klaster tidak menganggur.

Anda dapat melampirkan kebijakan penghentian otomatis saat membuat klaster, atau menambahkan kebijakan ke klaster yang ada. Untuk mengubah atau menonaktifkan penghentian otomatis, Anda dapat memperbarui atau menghapus kebijakan.

Pertimbangan

Pertimbangkan fitur dan batasan berikut sebelum menggunakan kebijakan penghentian otomatis:

• Berikut ini Wilayah AWS, penghentian otomatis EMR Amazon tersedia dengan Amazon EMR 6.14.0 dan yang lebih tinggi:

  • Asia Pasifik (Hyderabad) (ap-south-2)

  • Asia Pasifik (Jakarta) (ap-southeast-3)

  • Eropa (Spanyol) (eu-south-2)

• Berikut ini Wilayah AWS, penghentian otomatis EMR Amazon tersedia dengan Amazon EMR 5.30.0 dan 6.1.0 dan yang lebih tinggi:

  • AS Timur (Virginia Utara) (us-east-1)

  • US East (Ohio) (us-east-2)

  • AS Barat (Oregon) (us-west-2)

  • AS Barat (California Utara) (us-west-1)

  • Africa (Cape Town) (af-south-1)

  • Asia Pacific (Hong Kong) (ap-east-1)

  • Asia Pasifik (Mumbai) (ap-south-1)

  • Asia Pacific (Seoul) (ap-northeast-2)

  • Asia Pasifik (Singapura) (ap-southeast-1)

  • Asia Pacific (Sydney) (ap-southeast-2)

  • Asia Pacific (Tokyo) (ap-northeast-1)

  • Kanada (Pusat) (ca-central-1)

  • Amerika Selatan (Sao Paulo) (sa-east-1)

  • Eropa (Frankfurt) (eu-central-1)

  • Eropa (Irlandia) (eu-west-1)

  • Eropa (London) (eu-west-2)

  • Europe (Milan) (eu-south-1)

  • Eropa (Paris) (eu-west-3)

  • Eropa (Stockholm) (eu-north-1)

  • Tiongkok (Beijing) (cn-utara-1)

  • Tiongkok (Ningxia) (cn-barat laut-1)

  • AWS GovCloud (AS-Timur) (us-gov-east-1)

  • AWS GovCloud (AS-Barat) (us-gov-west-1)

• Batas waktu idle default menjadi 60 menit (satu jam) ketika Anda tidak menentukan jumlah. Anda dapat menentukan batas waktu idle minimum satu menit, dan batas waktu idle maksimum 7 hari.

• Dengan Amazon EMR versi 6.4.0 dan yang lebih baru, penghentian otomatis diaktifkan secara default saat Anda membuat cluster baru dengan konsol Amazon EMR.

• Amazon EMR menerbitkan Amazon CloudWatch metrik resolusi tinggi saat Anda mengaktifkan penghentian otomatis untuk klaster. Anda dapat menggunakan metrik ini untuk melacak aktivitas klaster dan kemalasan. Untuk informasi selengkapnya, lihat Metrik kapasitas klaster.

• Pengakhiran otomatis tidak didukung saat Anda menggunakan aplikasi berbasis non-Yarn seperti Presto, Trino, atau HBase.

• Untuk menggunakan penghentian otomatis, proses kolektor metrik harus dapat terhubung ke titik akhir API publik untuk penghentian otomatis di API Gateway. Jika Anda menggunakan nama DNS pribadi dengan Amazon Virtual Private Cloud, penghentian otomatis tidak akan berfungsi dengan baik. Untuk memastikan bahwa penghentian otomatis berfungsi, kami sarankan Anda mengambil salah satu tindakan berikut:

  • Hapus titik akhir VPC antarmuka API Gateway dari VPC Amazon Anda.

  • Ikuti petunjuk di Mengapa saya mendapatkan kesalahan HTTP 403 Forbidden saat menghubungkan ke API Gateway API saya dari VPC? untuk menonaktifkan pengaturan nama DNS pribadi.

  • Luncurkan cluster Anda di subnet pribadi sebagai gantinya. Untuk informasi lebih lanjut, lihat topik diSubnet privat.

• (EMR 5.30.0 dan yang lebih baru) Jika Anda menghapus aturan default Izinkan Semua keluar ke 0.0.0.0/ untuk grup keamanan utama, Anda harus menambahkan aturan yang memungkinkan konektivitas TCP keluar ke grup keamanan Anda untuk akses layanan pada port 9443. Grup keamanan Anda untuk akses layanan juga harus mengizinkan lalu lintas TCP masuk pada port 9443 dari grup keamanan utama. Untuk informasi selengkapnya tentang mengonfigurasi grup keamanan, lihat grup keamanan yang dikelola Amazon EMR untuk contoh utama (subnet pribadi).

Izin untuk menggunakan penghentian otomatis

Sebelum dapat menerapkan dan mengelola kebijakan penghentian otomatis untuk Amazon EMR, Anda harus melampirkan izin yang tercantum dalam contoh kebijakan izin IAM berikut ke sumber daya IAM yang mengelola kluster EMR Anda.

{
  "Version": "2012-10-17",
  "Statement": {
      "Sid": "AllowAutoTerminationPolicyActions",
      "Effect": "Allow",
      "Action": [
        "elasticmapreduce:PutAutoTerminationPolicy",
        "elasticmapreduce:GetAutoTerminationPolicy",
        "elasticmapreduce:RemoveAutoTerminationPolicy"
      ],
      "Resource": "<your-resources>"
    }
}

Lampirkan, perbarui, atau hapus kebijakan penghentian otomatis

Bagian ini menyertakan petunjuk untuk membantu Anda melampirkan, memperbarui, atau menghapus kebijakan penghentian otomatis dari klaster EMR Amazon. Sebelum Anda bekerja dengan kebijakan penghentian otomatis, pastikan Anda memiliki izin IAM yang diperlukan. Lihat Izin untuk menggunakan penghentian otomatis.

catatan

Kami telah mendesain ulang konsol EMR Amazon agar lebih mudah digunakan. Lihat Konsol Amazon EMR untuk mempelajari tentang perbedaan antara pengalaman konsol lama dan baru.

New console

Untuk melampirkan kebijakan penghentian otomatis saat Anda membuat klaster dengan konsol baru

1. Masuk ke AWS Management Console, dan buka konsol EMR Amazon di https://console.aws.amazon.com/emr.

2. Di bawah EMR pada EC2 di panel navigasi kiri, pilih Clusters, lalu pilih Create cluster.

3. Di bawah Pengakhiran klaster, pilih Hentikan klaster setelah waktu idle.

4. Tentukan jumlah jam dan menit idle yang dapat berlalu sebelum cluster berakhir secara otomatis. Waktu idle default adalah 1 jam.

5. Pilih opsi lain yang berlaku untuk cluster Anda.

6. Untuk meluncurkan klaster Anda, pilih Buat klaster.

Untuk melampirkan, memperbarui, atau menghapus kebijakan penghentian otomatis pada klaster yang sedang berjalan dengan konsol baru

1. Masuk ke AWS Management Console, dan buka konsol EMR Amazon di https://console.aws.amazon.com/emr.

2. Di bawah EMR pada EC2 di panel navigasi kiri, pilih Cluster, dan pilih cluster yang ingin Anda perbarui.

3. Pada tab Properties pada halaman detail cluster, temukan Pengakhiran cluster dan pilih Edit.

4. Pilih atau hapus Aktifkan penghentian otomatis untuk mengaktifkan atau menonaktifkan fitur. Jika Anda mengaktifkan penghentian otomatis, tentukan jumlah jam dan menit idle yang dapat berlalu sebelum cluster dihentikan secara otomatis. Kemudian pilih Simpan perubahan untuk mengonfirmasi.

Old console

Untuk melampirkan kebijakan penghentian otomatis saat Anda membuat klaster dengan konsol lama

1. Arahkan ke konsol EMR Amazon baru dan pilih Beralih ke konsol lama dari navigasi samping. Untuk informasi selengkapnya tentang apa yang diharapkan saat beralih ke konsol lama, lihat Menggunakan konsol lama.

2. Pilih Buat klaster.

3. Di bawah Konfigurasi perangkat keras, pilih Pengakhiran otomatis.

4. Tentukan jumlah jam dan menit idle setelah itu cluster harus dihentikan secara otomatis. Waktu idle default adalah satu jam.

5. Pilih pengaturan lain yang sesuai untuk aplikasi Anda, lalu pilih Buat klaster.

Untuk melampirkan, memperbarui, atau menghapus kebijakan penghentian otomatis pada klaster yang sedang berjalan dengan konsol lama

1. Arahkan ke konsol EMR Amazon baru dan pilih Beralih ke konsol lama dari navigasi samping. Untuk informasi selengkapnya tentang apa yang diharapkan saat beralih ke konsol lama, lihat Menggunakan konsol lama.

2. Pilih Cluster dan pilih cluster yang ingin Anda perbarui.

3. Pilih tab Hardware pada halaman detail cluster.

4. Pilih atau hapus Aktifkan penghentian otomatis untuk mengaktifkan atau menonaktifkan fitur. Jika Anda mengaktifkan penghentian otomatis, tentukan jumlah jam dan menit idle setelah itu cluster harus dihentikan secara otomatis.

AWS CLI

Sebelum Anda mulai

Sebelum Anda bekerja dengan kebijakan penghentian otomatis, kami sarankan Anda memperbarui ke versi terbaru. AWS CLI Untuk petunjuk, lihat Menginstal, memperbarui, dan menghapus instalasi. AWS CLI

Untuk melampirkan atau memperbarui kebijakan penghentian otomatis menggunakan AWS CLI

• Anda dapat menggunakan aws emr put-auto-termination-policy perintah untuk melampirkan atau memperbarui kebijakan penghentian otomatis di klaster.

  Contoh berikut menentukan 3600 detik untuk. IdleTimeout Jika Anda tidak menentukan IdleTimeout, nilai defaultnya menjadi satu jam.

  aws emr put-auto-termination-policy \
  --cluster-id <your-cluster-id> \
  --auto-termination-policy IdleTimeout=3600 

  catatan

  Karakter lanjutan baris Linux (\) disertakan agar mudah dibaca Karakter ini bisa dihapus atau digunakan dalam perintah Linux. Untuk Windows, hapus atau ganti dengan tanda sisipan (^).

  Anda juga dapat menentukan nilai --auto-termination-policy saat Anda menggunakan aws emr create-cluster perintah. Untuk informasi selengkapnya tentang penggunaan perintah EMR Amazon di AWS CLI, lihat Referensi AWS CLI Perintah.

Untuk menghapus kebijakan penghentian otomatis dengan AWS CLI

• Gunakan aws emr remove-auto-termination-policy perintah untuk menghapus kebijakan penghentian otomatis dari klaster. Untuk informasi selengkapnya tentang penggunaan perintah EMR Amazon di AWS CLI, lihat Referensi AWS CLI Perintah.

  aws emr remove-auto-termination-policy --cluster-id <your-cluster-id>