Siapkan cluster VPC untuk meng-host

Sebelum Anda dapat meluncurkan cluster di aVPC, Anda harus membuat VPC dan subnet. Untuk subnet publik, Anda harus membuat gateway internet dan melampirkannya ke subnet. Petunjuk berikut menjelaskan cara membuat yang VPC mampu menghosting EMR kluster Amazon.

Untuk membuat subnet VPC dengan untuk cluster Amazon EMR

1. Buka VPC konsol Amazon di https://console.aws.amazon.com/vpc/.

2. Di kanan atas halaman, pilih Wilayah AWSuntuk AndaVPC.

3. Pilih Buat VPC.

4. Pada halaman VPCpengaturan, pilih VPCdan lainnya.

5. Di bawah Generasi otomatis tag nama, aktifkan Generasi otomatis dan masukkan nama untuk Anda. VPC Ini membantu Anda mengidentifikasi VPC dan subnet di VPC konsol Amazon setelah Anda membuatnya.

6. Di bidang IPv4CIDRblokir, masukkan ruang alamat IP pribadi VPC untuk memastikan resolusi DNS nama host yang tepat; jika tidak, Anda mungkin mengalami kegagalan EMR klaster Amazon. Ini termasuk rentang alamat IP berikut:

   • 10.0.0.0 - 10.255.255.255

   • 172.16.0.0 - 172.31.255.255

   • 192.168.0.0 - 192.168.255.255

7. Di bawah Jumlah Availability Zones (AZs), pilih jumlah Availability Zone yang ingin Anda luncurkan subnet.

8. Di bawah Jumlah subnet publik, pilih satu subnet publik untuk ditambahkan ke subnet Anda. VPC Jika data yang digunakan oleh cluster tersedia di internet (misalnya, di Amazon S3 atau AmazonRDS), Anda hanya perlu menggunakan subnet publik dan tidak perlu menambahkan subnet pribadi.

9. Di bawah Jumlah subnet pribadi, pilih jumlah subnet pribadi yang ingin Anda tambahkan ke subnet Anda. VPC Pilih satu atau lebih jika data untuk aplikasi Anda disimpan di jaringan Anda sendiri (misalnya, dalam database Oracle). Untuk subnet pribadi, semua EC2 instans Amazon minimal harus memiliki rute ke Amazon EMR melalui elastic network interface. VPC Di konsol, hal ini akan secara otomatis dikonfigurasi untuk Anda.

10. Di bawah NATgateway, secara opsional memilih untuk menambahkan gateway. NAT Mereka hanya diperlukan jika Anda memiliki subnet pribadi yang perlu berkomunikasi dengan internet.

11. Di bawah VPCtitik akhir, secara opsional pilih untuk menambahkan titik akhir untuk Amazon S3 ke subnet Anda.

12. Verifikasi bahwa Aktifkan DNS nama host dan Aktifkan DNS resolusi dicentang. Untuk informasi selengkapnya, lihat Menggunakan DNS dengan Anda VPC.

13. Pilih Buat VPC.

14. Jendela status menunjukkan pekerjaan yang sedang berlangsung. Ketika pekerjaan selesai, pilih Lihat VPC untuk menavigasi ke VPCs halaman Anda, yang menampilkan default Anda VPC dan VPC yang baru saja Anda buat. VPCYang Anda buat adalah nondefaultVPC, oleh karena itu VPC kolom Default menampilkan No.

15. Jika Anda ingin mengaitkan VPC dengan DNS entri yang tidak menyertakan nama domain, navigasikan ke set DHCP opsi, pilih Buat set DHCP opsi, dan hilangkan nama domain. Setelah Anda membuat set opsi, navigasikan ke yang baruVPC, pilih Edit DHCP opsi yang disetel di bawah menu Tindakan, dan pilih set opsi baru. Anda tidak dapat mengedit nama domain menggunakan konsol setelah set DNS opsi dibuat.

    Ini adalah praktik terbaik dengan Hadoop dan aplikasi terkait untuk memastikan resolusi nama domain yang sepenuhnya memenuhi syarat (FQDN) untuk node. Untuk memastikan DNS resolusi yang tepat, konfigurasikan a VPC yang menyertakan set DHCP opsi yang parameternya diatur ke nilai berikut:

    • nama domain = ec2.internal

      Gunakan ec2.internal jika wilayah Anda adalah US East (N. Virginia). Untuk wilayah lain, gunakan region-name.compute.internal. Sebagai contoh dius-west-2, gunakanus-west-2.compute.internal. Untuk Wilayah AWS GovCloud (AS-Barat), gunakanus-gov-west-1.compute.internal.

    • domain-name-servers = AmazonProvidedDNS

    Untuk informasi selengkapnya, lihat set DHCP opsi di Panduan VPC Pengguna Amazon.

16. Setelah VPC dibuat, buka halaman Subnet dan catat Subnet ID dari salah satu subnet baru Anda. VPC Anda menggunakan informasi ini saat meluncurkan EMR cluster Amazon ke dalamVPC.