Memilih pendekatan penskalaan otomatis

Elastisitas adalah salah satu keuntungan utama menggunakan Amazon EMR. Ada dua opsi utama untuk menskalakan sumber daya Anda secara otomatis:

• Penskalaan terkelola

• Kebijakan penskalaan khusus

Dengan penskalaan terkelola atau kebijakan penskalaan otomatis khusus, Anda dapat menskalakan masuk dan keluar node sehingga Anda hanya menggunakan sumber daya yang Anda butuhkan. Scaling out digunakan untuk menambahkan lebih banyak sumber daya saat Anda membutuhkan lebih banyak kapasitas. Penskalaan menghasilkan efisiensi biaya dengan menghilangkan sumber daya yang tidak digunakan. Dalam layanan EMR Amazon, CloudWatch metrik Amazon diaktifkan untuk memantau sumber daya Anda sehingga Anda dapat menskalakan klaster Anda. CloudWatch mengambil titik data setiap 5 menit.

Ada pertimbangan berbeda untuk masing-masing pendekatan penskalaan otomatis.

Penskalaan terkelola Amazon EMR

Gunakan penskalaan terkelola EMR jika beban kerja Anda memenuhi kriteria berikut:

• Diperlukan pengalaman yang dikelola.

• Amazon EMR 5.330 atau yang lebih baru digunakan.

• Anda memerlukan frekuensi evaluasi 1 menit.

• Solusinya menggunakan armada instance untuk memiliki antara satu dan lima opsi instance.

• Aplikasi ini didasarkan pada Apache Spark, Apache Hive, atau Apache Hadoop YARN.

Penskalaan otomatis kustom

Gunakan kebijakan penskalaan otomatis khusus jika beban kerja Anda memenuhi kriteria berikut:

• Anda harus mengontrol metrik untuk penskalaan.

• Amazon EMR 4.0+ digunakan.

• Tidak perlu frekuensi evaluasi yang tinggi.

• Tidak ada persyaratan untuk mengontrol periode cooldown antara pengubahan ukuran berturut-turut.

• Penting untuk mengontrol berapa banyak instance yang akan ditambahkan atau dihapus saat penskalaan.

• Solusinya membutuhkan tindakan penskalaan khusus. Misalnya, Anda mungkin ingin menskalakan lebih dari satu node dalam satu periode 5 menit. Atau Anda mungkin ingin menyesuaikan periode cooldown.

• Tidak ada batasan untuk menggunakan tipe instan yang berbeda dalam grup instance.

Tips saat menambahkan penskalaan otomatis ke cluster Anda

• Waspadai jumlah data yang akan Anda proses. Forecast menggunakan kasus dengan ukuran data terbesar.

• Ukuran kluster Anda dengan benar.

• Pilih jenis penyimpanan yang sesuai dengan kebutuhan Anda.

• Memahami metrik untuk klaster EMR Amazon.

• Pahami cara menentukan metrik yang tepat untuk penskalaan klaster Anda.

• Putuskan apakah Anda akan menggunakan Instans Spot, grup instans seragam, atau armada instance.

• Berdasarkan informasi dan keterbatasan, tentukan jenis pendekatan penskalaan yang Anda inginkan, penskalaan terkelola Amazon EMR, atau kebijakan penskalaan otomatis khusus.

• Konfigurasikan kebijakan penskalaan atau kustom terkelola.

• Jika Anda memilih kebijakan penskalaan otomatis khusus, pantau metrik EMR Amazon untuk menyetel ambang batas kebijakan.