Mengkonfigurasi jaringan

Bagian ini memberikan informasi tentang bagaimana administrator dapat mengonfigurasi jaringan mereka untuk memungkinkan komunikasi antara Studio atau Studio Classic dan klaster EMR Amazon.

Instruksi jaringan bervariasi berdasarkan apakah Studio dan Amazon EMR digunakan dalam Amazon Virtual Private Cloud (VPC) pribadi atau berkomunikasi melalui internet.

Secara default, Studio atau Studio Classic berjalan di VPC AWS terkelola dengan akses internet. Saat menggunakan koneksi internet, Studio dan Studio Classic mengakses AWS sumber daya, seperti bucket Amazon S3, melalui internet. Namun, jika Anda memiliki persyaratan keamanan untuk mengontrol akses ke data dan wadah pekerjaan, sebaiknya Anda mengonfigurasi Studio atau Studio Classic dan Amazon EMR agar data dan container Anda tidak dapat diakses melalui internet. Untuk mengontrol akses ke sumber daya atau menjalankan Studio atau Studio Classic tanpa akses internet publik, Anda dapat menentukan jenis akses VPC only jaringan saat Anda onboard ke SageMaker domain Amazon. Dalam skenario ini, Studio dan Studio Classic menjalin koneksi dengan AWS layanan lain melalui titik akhir VPC pribadi. Untuk informasi tentang mengonfigurasi Studio atau Studio Classic dalam VPC only mode, lihat Connect SageMaker Studio atau Studio Classic notebook dalam VPC ke sumber daya eksternal. .

Dua bagian pertama menjelaskan cara memastikan komunikasi antara Studio atau Studio Classic dan cluster EMR Amazon di VPC tanpa akses internet publik. Bagian terakhir mencakup cara memastikan komunikasi antara Studio atau Studio Classic dan Amazon EMR menggunakan koneksi internet. Sebelum menghubungkan Studio atau Studio Classic dan Amazon EMR tanpa akses internet, pastikan untuk membuat titik akhir untuk Amazon Simple Storage Service (penyimpanan data), Amazon CloudWatch (logging dan monitoring), dan Amazon SageMaker Runtime (kontrol akses berbasis peran halus (RBAC)).

Untuk menghubungkan Studio atau Studio Classic dan klaster EMR Amazon Anda:

• Jika Studio atau Studio Classic dan Amazon EMR berada di VPC terpisah, baik di AWS akun yang sama atau di akun yang berbeda, lihat. Studio dan Amazon EMR berada dalam VPC terpisah

• Jika Studio atau Studio Classic dan Amazon EMR berada di VPC yang sama, lihat. Studio dan Amazon EMR berada di VPC yang sama

• Jika Anda memilih untuk menghubungkan Studio atau Studio Classic dan Amazon EMR melalui internet publik, lihat. Studio dan Amazon EMR berkomunikasi melalui internet publik

Studio dan Amazon EMR berada dalam VPC terpisah

Untuk memungkinkan komunikasi antara Studio atau Studio Classic dan Amazon EMR saat digunakan di VPC terpisah:

1. Mulailah dengan menghubungkan VPC Anda melalui koneksi peering VPC.

2. Perbarui tabel perutean Anda di setiap VPC untuk merutekan lalu lintas jaringan antara subnet Studio atau Studio Classic dan subnet Amazon EMR dengan dua arah.

3. Konfigurasikan grup keamanan Anda untuk memungkinkan lalu lintas masuk dan keluar.

Langkah-langkah untuk menghubungkan Studio atau Studio Classic dan Amazon EMR adalah sama apakah sumber daya digunakan dalam satu AWS akun (Kasus penggunaan akun tunggal) atau di beberapa akun (Kasus penggunaan lintas AWS akun).

1. Peering VPC

   Buat koneksi peering VPC untuk memfasilitasi jaringan antara dua VPC (Studio atau Studio Classic dan Amazon EMR).

   1. Dari akun Studio atau Studio Classic Anda, di dasbor VPC, pilih Koneksi peering, lalu Buat koneksi peering.

   2. Buat permintaan Anda untuk mengintip VPC Studio atau Studio Classic dengan VPC Amazon EMR. Saat meminta mengintip di AWS akun lain, pilih Akun lain di Pilih VPC lain untuk diajak mengintip.

      Untuk peering lintas akun, administrator harus menerima permintaan dari akun EMR Amazon.

      Saat mengintip subnet pribadi, Anda harus mengaktifkan resolusi DNS IP pribadi pada tingkat koneksi peering VPC.

2. Tabel perutean

   Kirim lalu lintas jaringan antara subnet Studio atau Studio Classic dan subnet Amazon EMR dua arah.

   Setelah Anda membuat koneksi peering, administrator (pada setiap akun untuk akses lintas akun) dapat menambahkan rute ke tabel rute subnet pribadi untuk merutekan lalu lintas antara Studio atau Studio Classic dan subnet cluster. Anda dapat menentukan rute tersebut dengan membuka bagian Tabel Rute dari setiap VPC di dasbor VPC.

   Ilustrasi berikut dari tabel rute subnet Studio VPC menunjukkan contoh rute keluar dari akun Studio ke rentang IP VPC EMR Amazon (di sini) melalui koneksi peering. 2.0.1.0/24

   

   Ilustrasi berikut dari tabel rute subnet Amazon EMR VPC menunjukkan contoh rute kembali dari VPC Amazon EMR ke rentang IP VPC Studio VPC (di sini) melalui koneksi peering. 10.0.20.0/24

   

3. Grup keamanan

   Terakhir, grup keamanan domain Studio atau Studio Classic Anda harus mengizinkan lalu lintas keluar, dan grup keamanan node primer EMR Amazon harus mengizinkan lalu lintas masuk pada port Apache Livy, Hive, atau Presto TCP (masing-masing, 899810000, dan8889) dari grup keamanan instans Studio atau Studio Classic. Apache Livy adalah layanan yang memungkinkan interaksi dengan Amazon EMR melalui antarmuka REST.

Diagram berikut menunjukkan contoh penyiapan VPC Amazon yang memungkinkan JupyterLab atau notebook Studio Classic untuk menyediakan kluster EMR Amazon dari templat di AWS CloudFormation Service Catalog dan kemudian terhubung ke klaster EMR Amazon dalam akun yang sama. AWS Diagram memberikan ilustrasi tambahan tentang titik akhir yang diperlukan untuk koneksi langsung ke berbagai AWS layanan, seperti Amazon S3 atau CloudWatch Amazon, ketika VPC tidak memiliki akses internet. Atau, gateway NAT harus digunakan untuk memungkinkan instance di subnet pribadi beberapa VPC untuk berbagi satu alamat IP publik yang disediakan oleh gateway internet saat mengakses internet.

Studio dan Amazon EMR berada di VPC yang sama

Jika kluster Studio atau Studio Classic dan Amazon EMR berada dalam subnet yang berbeda, tambahkan rute ke setiap tabel rute subnet pribadi untuk merutekan lalu lintas antara Studio atau Studio Classic dan subnet cluster. Anda dapat menentukan rute tersebut dengan membuka bagian Tabel Rute dari setiap VPC di dasbor VPC. Jika Anda menggunakan Studio atau Studio Classic dan klaster EMR Amazon di VPC yang sama dan subnet yang sama, Anda tidak perlu merutekan lalu lintas antara Studio atau Studio Classic dan cluster.

Apakah Anda perlu memperbarui tabel perutean atau tidak, grup keamanan domain Studio atau Studio Classic Anda harus mengizinkan lalu lintas keluar, dan grup keamanan node utama EMR Amazon harus mengizinkan lalu lintas masuk pada port Apache Livy, Hive, atau Presto TCP (masing-masing, 899810000, dan8889) dari grup keamanan instans Studio atau Studio Classic. Apache Livy adalah layanan yang memungkinkan interaksi dengan cluster EMR Amazon melalui antarmuka REST.

Studio dan Amazon EMR berkomunikasi melalui internet publik

Secara default, Studio dan Studio Classic menyediakan antarmuka jaringan yang memungkinkan komunikasi dengan internet melalui gateway internet di VPC yang terkait dengan domain. SageMaker Jika Anda memilih untuk terhubung ke Amazon EMR melalui internet publik, kluster EMR Amazon Anda harus menerima lalu lintas masuk pada port Apache Livy, Hive, atau Presto TCP (masing-masing,, dan) dari gateway internetnya. 8998 10000 8889 Apache Livy adalah layanan yang memungkinkan interaksi dengan cluster EMR Amazon melalui antarmuka REST.

Perlu diingat bahwa setiap port tempat Anda mengizinkan lalu lintas masuk merupakan potensi kelemahan keamanan. Cermatlah dalam meninjau grup keamanan kustom untuk memastikan bahwa Anda meminimalisir kelemahan. Untuk informasi selengkapnya, lihat Mengendalikan lalu lintas jaringan dengan grup keamanan.

Atau, lihat Blog dan whitepaper panduan terperinci tentang cara mengaktifkan Kerberos di Amazon EMR, mengatur cluster di subnet pribadi, dan mengakses cluster menggunakan Network Load Balancer (NLB) untuk mengekspos hanya port tertentu, yang dikendalikan akses melalui grup keamanan.

catatan

Saat menghubungkan ke titik akhir Apache Livy Anda melalui internet publik, kami sarankan Anda mengamankan komunikasi antara Studio atau Studio Classic dan kluster EMR Amazon Anda menggunakan TLS.

Untuk informasi tentang pengaturan HTTPS dengan Apache Livy, lihat Mengaktifkan HTTPS dengan Apache Livy. Untuk informasi tentang menyetel klaster EMR Amazon dengan enkripsi transit diaktifkan, lihat Menyediakan sertifikat untuk mengenkripsi data saat transit dengan enkripsi Amazon EMR. Selain itu, Anda perlu mengonfigurasi Studio atau Studio Classic untuk mengakses kunci sertifikat Anda seperti yang ditentukan dalamConnect ke kluster EMR Amazon melalui HTTPS.