Menyiapkan jaringan untuk pengembangan AWS Glue

Untuk menjalankan skrip ekstrak, transformasi, dan muat (ETL)AWS Glue, Anda dapat mengembangkan dan menguji skrip Anda menggunakan titik akhir pengembangan. Titik akhir pengembangan tidak didukung untuk digunakan dengan tugas AWS Glue versi 2.0. Untuk versi 2.0 dan yang lebih baru, metode pengembangan yang disukai adalah menggunakan Jupyter Notebook dengan salah satu kernel. AWS Glue Untuk informasi selengkapnya, lihat Memulai dengan sesi AWS Glue interaktif.

Menyiapkan jaringan Anda untuk titik akhir pengembangan

Ketika Anda mengatur titik akhir, Anda menentukan virtual private cloud (VPC), subnet, dan grup keamanan.

catatan

Pastikan Anda mengatur lingkungan DNS Anda untuk AWS Glue. Untuk informasi selengkapnya, lihat Menyiapkan DNS di VPC.

Untuk mengaktifkan AWS Glue agar mengakses sumber daya yang diperlukan, tambahkan baris dalam tabel rute subnet Anda untuk meng-associate daftar prefiks untuk Amazon S3 ke VPC endpoint. ID daftar prefiks diperlukan untuk membuat aturan grup keamanan keluar yang memungkinkan lalu lintas dari VPC untuk mengakses layanan AWS melalui sebuah VPC endpoint. Untuk memudahkan menyambung ke server notebook yang dikaitkan dengan titik akhir pengembangan ini, dari mesin lokal Anda, tambahkan baris ke tabel rute untuk menambahkan ID gateway internet. Untuk informasi lebih lanjut, lihat VPC endpoint. Memperbarui tabel rute subnet agar menjadi mirip dengan Daftar Tabel berikut:

Tujuan	Target
10.0.0.0/16	lokal
pl-id untuk Amazon S3	vpce-id
0.0.0.0/0	igw-xxxx

Untuk mengaktifkan AWS Glue untuk berkomunikasi antara komponen-komponennya, tentukan grup keamanan dengan aturan inbound self-referencing untuk semua port TCP. Dengan membuat aturan self-referencing, Anda dapat membatasi sumber ke grup keamanan yang sama di VPC, dan ia tidak terbuka untuk semua jaringan. Grup keamanan default untuk VPC Anda mungkin sudah memiliki aturan self-referencing inbound untuk semua lalu lintas.

Untuk menyiapkan grup keamanan

1. Masuk ke AWS Management Console dan buka konsol Amazon EC2 di https://console.aws.amazon.com/ec2/.

2. Di panel navigasi sebelah kiri, pilih Grup Keamanan.

3. Pilih grup keamanan yang sudah ada dari daftar, atau Buat Grup Keamanan untuk digunakan dengan titik akhir pengembangan.

4. Di panel grup keamanan, arahkan ke tab Inbound.

5. Tambahkan aturan self-referencing untuk mengizinkan komponen AWS Glue untuk berkomunikasi. Secara khusus, tambahkan atau konfirmasi bahwa ada aturan Jenis All TCP, Protokol adalah TCP, Rentang Port mencakup semua port, dan yang Sumber adalah nama grup keamanan yang sama seperti ID Grup.

   Aturan inbound terlihat serupa dengan ini:

   Tipe	Protokol	Rentang Port	Sumber
   Semua TCP	TCP	0–65535	kelompok keamanan

   Berikut ini adalah contoh aturan self-referencing inbound:

   

6. Menambahkan aturan untuk lalu lintas outbound juga. Buka lalu lintas keluar ke semua port, atau membuat aturan self-referencing di mana Jenis All TCP, Protokol adalah TCP, Rentang Port mencakup semua port, dan yang Sumber adalah nama grup keamanan yang sama seperti ID Grup.

   Aturan outbound terlihat mirip dengan salah satu aturan ini:

   Tipe	Protokol	Rentang Port	Tujuan
   Semua TCP	TCP	0–65535	kelompok keamanan
   Semua Lalu Lintas	SEMUA	SEMUA	0.0.0.0/0

Menyiapkan Amazon EC2 untuk server notebook

Dengan titik akhir pengembangan, Anda dapat membuat server notebook untuk menguji skrip ETL Anda dengan notebook Jupyter. Untuk mengaktifkan komunikasi ke notebook Anda, tentukan grup keamanan dengan aturan masuk untuk HTTPS (port 443) dan SSH (port 22). Pastikan bahwa sumber aturan adalah 0.0.0.0/0 atau alamat IP dari mesin yang terhubung ke notebook.

Untuk menyiapkan grup keamanan

1. Masuk ke AWS Management Console dan buka konsol Amazon EC2 di https://console.aws.amazon.com/ec2/.

2. Di panel navigasi sebelah kiri, pilih Grup Keamanan.

3. Pilih grup keamanan yang sudah ada dari daftar, atau Buat Grup Keamanan untuk digunakan dengan server notebook. Grup keamanan yang dikaitkan dengan titik akhir pengembangan Anda juga digunakan untuk menciptakan server notebook Anda.

4. Di panel grup keamanan, arahkan ke tab Inbound.

5. Tambahkan aturan inbound yang mirip dengan ini:

   Tipe	Protokol	Rentang Port	Sumber
   SSH	TCP	22	0.0.0.0/0
   HTTPS	TCP	443	0.0.0.0/0

   Berikut ini adalah contoh aturan inbound untuk grup keamanan: