Opsi Amazon VPC

Saat Anda meluncurkan klaster Amazon EMR dalam VPC, Anda dapat meluncurkannya baik dalam subnet publik, privat, atau bersama. Terdapat sedikit perbedaan dalam konfigurasi, tergantung pada jenis subnet yang Anda pilih untuk klaster.

Subnet publik

klaster EMR di subnet publik memerlukan gateway internet yang terhubung. Ini karena cluster EMR Amazon harus mengakses layanan AWS dan Amazon EMR. Jika layanan, seperti Amazon S3, menyediakan kemampuan untuk membuat VPC endpoint, Anda dapat mengakses layanan tersebut dengan menggunakan titik akhir alih-alih mengakses titik akhir publik melalui gateway internet. Selain itu, Amazon EMR tidak dapat berkomunikasi dengan klaster di subnet publik melalui perangkat terjemahan alamat jaringan (NAT). Gateway internet diperlukan untuk tujuan ini, tetapi Anda masih dapat menggunakan instans NAT atau gateway untuk lalu lintas lain dalam skenario yang lebih kompleks.

Semua instans dalam klaster terhubung ke Amazon S3 melalui VPC endpoint atau gateway internet. AWS Layanan lain yang saat ini tidak mendukung titik akhir VPC hanya menggunakan gateway internet.

Jika Anda memiliki AWS sumber daya tambahan yang tidak ingin terhubung ke gateway internet, Anda dapat meluncurkan komponen tersebut di subnet pribadi yang Anda buat dalam VPC Anda.

Cluster yang berjalan di subnet publik menggunakan dua grup keamanan: satu untuk node utama dan satu lagi untuk node inti dan tugas. Untuk informasi selengkapnya, lihat Mengendalikan lalu lintas jaringan dengan grup keamanan.

Diagram berikut menunjukkan bagaimana klaster Amazon EMR berjalan di VPC menggunakan subnet publik. Cluster ini dapat terhubung ke AWS sumber daya lain, seperti bucket Amazon S3, melalui gateway internet.

Diagram berikut menunjukkan cara menyiapkan VPC sehingga klaster di VPC dapat mengakses sumber daya di jaringan Anda sendiri, seperti basis data Oracle.

Subnet privat

Subnet pribadi memungkinkan Anda meluncurkan AWS sumber daya tanpa memerlukan subnet untuk memiliki gateway internet terlampir. Amazon EMR mendukung peluncuran cluster di subnet pribadi dengan versi rilis 4.2.0 atau yang lebih baru.

catatan

Saat menyiapkan kluster EMR Amazon di subnet pribadi, sebaiknya Anda juga menyiapkan titik akhir VPC untuk Amazon S3. Jika kluster EMR Anda berada dalam subnet pribadi tanpa titik akhir VPC untuk Amazon S3, Anda akan dikenakan biaya gateway NAT tambahan yang terkait dengan lalu lintas S3 karena lalu lintas antara kluster EMR Anda dan S3 tidak akan tetap berada dalam VPC Anda.

Subnet pribadi berbeda dari subnet publik dengan cara berikut:

• Untuk mengakses AWS layanan yang tidak menyediakan titik akhir VPC, Anda tetap harus menggunakan instance NAT atau gateway internet.

• Minimal, Anda harus menyediakan rute ke bucket log layanan Amazon EMR dan repositori Amazon Linux di Amazon S3. Untuk informasi selengkapnya, lihat Kebijakan Amazon S3 minimum untuk subnet privat

• Jika Anda menggunakan fitur EMRFS, Anda harus memiliki VPC endpoint Amazon S3 dan rute dari subnet privat ke DynamoDB.

• Debugging hanya berfungsi jika Anda menyediakan rute dari subnet privat ke titik akhir Amazon SQS publik.

• Membuat konfigurasi subnet privat menggunakan instans NAT atau gateway di subnet publik hanya didukung dengan menggunakan AWS Management Console. Cara termudah untuk menambahkan dan mengonfigurasi instans NAT dan titik akhir VPC Amazon S3 untuk kluster EMR Amazon adalah dengan menggunakan halaman Daftar Subnet VPC di konsol EMR Amazon. Untuk mengonfigurasi gateway NAT, lihat Gateway NAT di Panduan Pengguna Amazon VPC.

• Anda tidak dapat mengubah subnet dengan kluster EMR Amazon yang ada dari publik ke pribadi atau sebaliknya. Untuk menemukan kluster EMR Amazon dalam subnet pribadi, cluster harus dimulai di subnet pribadi itu.

Amazon EMR membuat dan menggunakan grup keamanan default yang berbeda untuk cluster di subnet pribadi: ElasticMapReduce -Master-Private, -Slave-Private, dan -. ElasticMapReduce ElasticMapReduce ServiceAccess Untuk informasi selengkapnya, lihat Mengendalikan lalu lintas jaringan dengan grup keamanan.

Untuk daftar lengkap NACL klaster Anda, pilih Grup keamanan untuk grup Primer dan Keamanan untuk Inti & Tugas di halaman Detail Kluster konsol EMR Amazon.

Gambar berikut menunjukkan bagaimana cluster EMR Amazon dikonfigurasi dalam subnet pribadi. Satu-satunya komunikasi di luar subnet adalah ke Amazon EMR.

Gambar berikut menunjukkan konfigurasi sampel untuk kluster EMR Amazon dalam subnet pribadi yang terhubung ke instance NAT yang berada di subnet publik.

Subnet bersama

Berbagi VPC memungkinkan pelanggan untuk berbagi subnet dengan AWS akun lain dalam Organisasi yang sama. AWS Anda dapat meluncurkan klaster Amazon EMR ke dalam subnet bersama publik dan bersama privat, dengan peringatan berikut.

Pemilik subnet harus berbagi subnet dengan Anda sebelum Anda dapat meluncurkan klaster Amazon EMR ke dalamnya. Namun, subnet yang dibagikan nantinya dapat dibatalkan pembagiannya. Untuk informasi lebih lanjut, lihat Bekerja dengan VPC Bersama. Saat klaster diluncurkan ke subnet bersama dan subnet bersama tersebut kemudian tidak dibatalkan pembagiannya, Anda dapat mengamati perilaku tertentu berdasarkan status klaster Amazon EMR saat subnet tidak dibagikan.

• Subnet dibatalkan pembagiannya sebelum klaster berhasil diluncurkan - Jika pemilik berhenti membagikan Amazon VPC atau subnet saat peserta meluncurkan klaster, klaster akan mengalami gagal memulai atau diinisialisasi sebagian tanpa menyediakan semua instans yang diminta.

• Subnet dibatalkan pembagiannya Setelah klaster berhasil diluncurkan - Saat pemilik berhenti membagikan subnet atau Amazon VPC dengan peserta, klaster peserta tidak akan dapat mengubah ukuran untuk menambahkan instans baru atau mengganti instans yang tidak sehat.

Saat Anda meluncurkan klaster Amazon EMR, beberapa grup keamanan akan dibuat. Dalam subnet bersama, peserta subnet mengontrol grup keamanan ini. Pemilik subnet dapat melihat grup keamanan ini tetapi tidak dapat melakukan tindakan apa pun terhadapnya. Jika pemilik subnet ingin menghapus atau mengubah grup keamanan, peserta yang membuat grup keamanan harus mengambil tindakan.

Kontrol izin VPC dengan IAM

Secara default, semua pengguna dapat melihat semua subnet untuk akun, dan setiap pengguna dapat meluncurkan cluster di subnet apa pun.

Saat meluncurkan cluster ke VPC, Anda dapat menggunakan AWS Identity and Access Management (IAM) untuk mengontrol akses ke cluster dan membatasi tindakan menggunakan kebijakan, seperti yang Anda lakukan dengan cluster yang diluncurkan ke Amazon EC2 Classic. Untuk informasi lebih lanjut tentang IAM, lihat Panduan Pengguna IAM.

Anda juga dapat menggunakan IAM untuk mengontrol siapa yang dapat membuat dan mengelola subnet. Misalnya, Anda dapat membuat peran IAM untuk mengelola subnet, dan peran kedua yang dapat meluncurkan cluster tetapi tidak dapat mengubah setelan Amazon VPC. Untuk informasi selengkapnya tentang mengelola kebijakan dan tindakan di Amazon EC2 dan Amazon VPC, lihat Kebijakan IAM untuk Amazon EC2 di Panduan Pengguna Amazon EC2.