Konfigurasi perangkat keras dan jaringan klaster

Pertimbangan penting saat membuat EMR klaster Amazon adalah bagaimana Anda mengonfigurasi EC2 instans Amazon dan opsi jaringan. Bab ini mencakup opsi-opsi berikut, dan kemudian mengikat semuanya bersama-sama dengan praktik terbaik dan panduan.

• Tipe node — EC2 Instance Amazon dalam sebuah EMR cluster diatur ke dalam tipe node. Ada tiga: node primer, node inti, dan node tugas. Setiap jenis simpul melakukan serangkaian peran yang ditentukan oleh aplikasi terdistribusi yang Anda instal di klaster. Selama pekerjaan Hadoop MapReduce atau Spark, misalnya, komponen pada inti dan node tugas memproses data, mentransfer output ke Amazon S3 atauHDFS, dan memberikan metadata status kembali ke node utama. Dengan cluster simpul tunggal, semua komponen berjalan pada simpul utama. Untuk informasi selengkapnya, lihat Memahami jenis node: node primer, inti, dan tugas.

• EC2instance — Saat membuat klaster, Anda membuat pilihan tentang EC2 instans Amazon yang akan dijalankan oleh setiap jenis node. Jenis EC2 instance menentukan profil pemrosesan dan penyimpanan node. Pilihan EC2 instans Amazon untuk node Anda penting karena menentukan profil kinerja masing-masing tipe node di cluster Anda. Untuk informasi selengkapnya, lihat Konfigurasikan jenis EC2 instans Amazon untuk digunakan dengan Amazon EMR.

• Jaringan — Anda dapat meluncurkan EMR cluster Amazon Anda ke VPC subnet publik, subnet pribadi, atau subnet bersama. Konfigurasi jaringan Anda menentukan bagaimana pelanggan dan layanan dapat terhubung ke cluster untuk melakukan pekerjaan, bagaimana cluster terhubung ke penyimpanan data dan lainnya AWS sumber daya, dan opsi yang Anda miliki untuk mengontrol lalu lintas pada koneksi tersebut. Untuk informasi selengkapnya, lihat Konfigurasikan jaringan di a VPC untuk Amazon EMR.

• Pengelompokan instance - Kumpulan EC2 instance yang meng-host setiap tipe node disebut armada instance atau grup instance seragam. Konfigurasi pengelompokan instans adalah pilihan yang Anda buat saat membuat klaster. Pilihan ini menentukan bagaimana Anda dapat menambahkan simpul ke klaster Anda saat sedang dijalankan. Konfigurasi ini berlaku untuk semua jenis simpul. Hal ini tidak dapat diubah nanti. Untuk informasi selengkapnya, lihat Membuat sebuah klaster dengan armada instan atau grup instans seragam.

  catatan

  Konfigurasi armada instance hanya tersedia di Amazon EMR rilis 4.8.0 dan yang lebih baru, tidak termasuk 5.0.0 dan 5.0.3.