Praktik terbaik konfigurasi Amazon EMR

Saat mengonfigurasi klaster EMR Amazon, gunakan praktik terbaik berikut untuk menambahkan instance, bekerja dengan grup instans, dan menggunakan Instans Spot.

Menambahkan instance

Saat Anda mengonfigurasi klaster EMR Anda, pertimbangan penting adalah pilihan yang tepat untuk instance EC2 Anda yang akan mewakili node cluster Anda. Ingatlah bahwa Anda tidak dapat mengubah jenis instance, seperti mengubah Instans Spot menjadi Instans Sesuai Permintaan, saat klaster sedang berjalan. Untuk mengubah node utama, Anda harus mematikan cluster dan membuat yang baru. Itulah mengapa Anda harus memilih jenis instans yang benar sehingga Anda memiliki waktu henti sesedikit mungkin. Untuk informasi selengkapnya, lihat Pedoman konfigurasi klaster dan praktik terbaik.

Ada beberapa cara untuk menambahkan EC2 instance ke klaster, tergantung pada apakah Anda menggunakan konfigurasi grup instance atau konfigurasi armada instance untuk klaster:

• Tambahkan EC2 instance secara manual

• Tambahkan tugas secara manual pada grup instance untuk menambahkan instance secara otomatis

• Mengatur penskalaan otomatis

Grup instans

Saat Anda menambahkan EC2 instance ke konfigurasi Anda, pertimbangkan untuk menggunakan grup instans. Jika Anda menambahkan instance secara manual, Anda dapat menambahkan instance dengan tipe yang sama ke grup instance inti dan tugas yang ada. Selain itu, Anda dapat menambahkan grup instance tugas, yang dapat menggunakan jenis instance yang berbeda.

Terakhir, atur penskalaan otomatis di Amazon EMR untuk grup instans. Instans dapat ditambahkan dan dihapus secara otomatis berdasarkan nilai CloudWatch metrik Amazon yang Anda tentukan. Jika tidak, jika Anda menggunakan armada instance, tambahkan satu armada instance tugas. Kemudian ubah kapasitas target untuk Instans Sesuai Permintaan dan Instans Spot untuk armada inti dan instans tugas yang ada.

Instans Spot

Gunakan Instans Spot pada node tugas. Node tugas memproses data tetapi tidak menyimpan data persisten di Hadoop Distributed File System (HDFS). Jika node tugas ditutup karena harga Spot telah naik di atas harga Spot maksimum Anda, tidak ada data yang hilang, dan efeknya pada klaster Anda minimal.

Saat Anda meluncurkan grup instans tugas sebagai Instans Spot, Amazon EMR menyediakan sebanyak mungkin node tugas, menggunakan harga Spot maksimum Anda. Misalnya, Anda dapat meminta grup instance tugas dengan enam node. Jika hanya lima Instans Spot yang tersedia pada atau di bawah harga Spot maksimum Anda, Amazon EMR meluncurkan grup instans dengan lima node. Amazon EMR menambahkan simpul keenam nanti jika memungkinkan. Untuk informasi selengkapnya, lihat Pedoman konfigurasi klaster dan praktik terbaik.