Bekerja dengan grup keamanan terkelola Amazon EMR

catatan

Amazon EMR bertujuan untuk menggunakan alternatif inklusif untuk istilah industri yang berpotensi menyinggung atau non-inklusif seperti “master” dan “slave”. Kami telah beralih ke terminologi baru untuk menumbuhkan pengalaman yang lebih inklusif dan untuk memfasilitasi pemahaman Anda tentang komponen layanan.

Kami sekarang mendeskripsikan “node” sebagai instance, dan kami menjelaskan jenis instans EMR Amazon sebagai instance primer, inti, dan tugas. Selama transisi, Anda mungkin masih menemukan referensi lama ke istilah yang sudah ketinggalan zaman, seperti yang berkaitan dengan grup keamanan untuk Amazon EMR.

Grup keamanan terkelola yang berbeda dikaitkan dengan instance utama dan dengan instance inti dan tugas dalam sebuah cluster. Grup keamanan terkelola tambahan untuk akses layanan diperlukan ketika Anda membuat sebuah klaster di subnet privat. Untuk informasi selengkapnya tentang peran grup keamanan terkelola sehubungan dengan konfigurasi jaringan Anda, lihat Opsi Amazon VPC.

Ketika Anda menetapkan grup keamanan terkelola untuk sebuah klaster, Anda harus menggunakan tipe grup keamanan yang sama, default atau kustom, untuk semua grup keamanan terkelola. Misalnya, Anda tidak dapat menentukan grup keamanan khusus untuk instance utama, lalu tidak menentukan grup keamanan khusus untuk instance inti dan tugas.

Jika Anda menggunakan grup keamanan terkelola default, Anda tidak perlu menentukannya saat membuat klaster. Amazon EMR secara otomatis menggunakan default. Selain itu, jika default tidak belum ada di klaster VPC, Amazon EMR akan membuatnya. Amazon EMR juga menciptakan mereka jika Anda secara eksplisit menentukan mereka dan mereka belum ada.

Anda dapat mengedit aturan di grup keamanan terkelola setelah klaster dibuat. Ketika Anda membuat sebuah klaster baru, Amazon EMR memeriksa aturan di grup keamanan terkelola yang Anda tentukan, dan membuat aturan inbound yang hilang bahwa kebutuhan klaster baru selain aturan yang mungkin telah ditambahkan sebelumnya. Kecuali dinyatakan lain secara khusus, setiap aturan untuk grup keamanan yang dikelola Amazon EMR default juga ditambahkan ke grup keamanan terkelola Amazon EMR khusus yang Anda tentukan.

Grup keamanan terkelola default adalah sebagai berikut:

• ElasticMapKurangi-primer

  Untuk aturan di grup keamanan ini, lihat Grup keamanan yang dikelola Amazon EMR untuk instans utama (subnet publik).

• ElasticMapMengurangi inti

  Untuk aturan di grup keamanan ini, lihat Grup keamanan terkelola Amazon EMR untuk instans inti dan instans tugas (subnet publik).

• ElasticMapKurangi-Primer-Pribadi

  Untuk aturan di grup keamanan ini, lihat Grup keamanan yang dikelola Amazon EMR untuk instans utama (subnet pribadi).

• ElasticMapKurangi Inti-Pribadi

  Untuk aturan di grup keamanan ini, lihat Grup keamanan terkelola Amazon EMR untuk instans inti dan instans tugas (subnet privat).

• ElasticMapKurangi- ServiceAccess

  Untuk aturan di grup keamanan ini, lihat Grup keamanan terkelola Amazon EMR untuk akses layanan (subnet privat).

Grup keamanan yang dikelola Amazon EMR untuk instans utama (subnet publik)

Grup keamanan terkelola default untuk instance utama dalam subnet publik memiliki Nama Grup ElasticMap Reduce-primary. Aplikasi ini memiliki aturan berikut: Jika Anda menentukan grup keamanan terkelola kustom, Amazon EMR menambahkan semua aturan yang sama ke grup keamanan kustom Anda.

Tipe	Protokol	Rentang port	Sumber	Detail
Aturan-aturan ke dalam
Semua ICMP-IPv4	Semua	N/A	ID Grup grup keamanan terkelola untuk contoh utama. Dengan kata lain, grup keamanan yang sama di mana aturan muncul.	Aturan refleksif ini mengizinkan lalu lintas inbound dari setiap instans yang terkait dengan grup keamanan tertentu. Menggunakan ElasticMapReduce-primary default untuk beberapa klaster mengizinkan simpul inti dan simpul tugas klaster tersebut untuk berkomunikasi dengan satu sama lain melalui ICMP atau port TCP atau UDP. Tentukan grup keamanan terkelola kustom untuk membatasi akses lintas-klaster.
Semua TCP	TCP	Semua
Semua UDP	UDP	Semua
Semua ICMP-IPV4	Semua	N/A	ID Grup dari grup keamanan terkelola yang ditentukan untuk simpul inti dan simpul tugas.	Aturan-aturan ini mengizinkan semua lalu lintas ICMP inbound dan lalu lintas di atas setiap port TCP atau UDP dari setiap instans inti dan instans tugas yang terkait dengan grup keamanan tertentu, bahkan jika instans di klaster yang berbeda.
Semua TCP	TCP	Semua
Semua UDP	UDP	Semua
Kustom	TCP	8443	Berbagai rentang alamat IP Amazon	Aturan-aturan ini memungkinkan pengelola cluster untuk berkomunikasi dengan node utama.

Untuk memberikan akses SSH sumber tepercaya ke grup keamanan utama dengan konsol

Untuk mengedit grup keamanan, Anda harus memiliki izin untuk mengelola grup keamanan untuk VPC tempat klaster berada. Untuk informasi selengkapnya, lihat Mengubah Izin untuk pengguna dan Kebijakan Contoh yang memungkinkan mengelola grup keamanan EC2 di Panduan Pengguna IAM.

1. Masuk ke AWS Management Console, dan buka konsol EMR Amazon di https://console.aws.amazon.com/emr.

2. Pilih Klaster. Pilih ID cluster yang ingin Anda modifikasi.

3. Di panel Jaringan dan keamanan, perluas dropdown grup keamanan EC2 (firewall).

4. Di bawah Node utama, pilih grup keamanan Anda.

5. Pilih Edit aturan masuk.

6. Memeriksa aturan masuk yang mengizinkan akses publik dengan pengaturan berikut. Jika ada, pilih Hapus untuk menghapusnya.

   • Jenis

     SSH

   • Port

     22

   • Sumber

     Kustom 0.0.0.0/0

   Awas

   Sebelum Desember 2020, ada aturan pra-konfigurasi untuk mengizinkan lalu lintas masuk di Port 22 dari semua sumber. Aturan ini dibuat untuk menyederhanakan koneksi SSH awal ke node utama. Kami sangat menyarankan agar Anda menghapus aturan masuk ini dan membatasi lalu lintas ke sumber tepercaya.

7. Gulir ke bagian bawah daftar aturan dan pilih Tambahkan Aturan.

8. Untuk Jenis, pilih SSH.

   Memilih SSH secara otomatis memasuki TCP untuk Protokol dan 22 untuk Rentang Port.

9. Untuk sumber, pilih IP Saya untuk secara otomatis menambahkan alamat IP Anda sebagai alamat sumber. Anda juga dapat menambahkan berbagai alamat IP klien tepercaya kustom, atau membuat aturan tambahan untuk klien lain. Banyak lingkungan jaringan mengalokasikan alamat IP secara dinamis, jadi Anda mungkin perlu memperbarui alamat IP Anda untuk klien tepercaya di masa mendatang.

10. Pilih Simpan.

11. Secara opsional, pilih grup keamanan lain di bawah Core dan node tugas di panel Jaringan dan keamanan dan ulangi langkah-langkah di atas untuk memungkinkan akses klien SSH ke node inti dan tugas.

Grup keamanan terkelola Amazon EMR untuk instans inti dan instans tugas (subnet publik)

Grup keamanan terkelola default untuk instance inti dan tugas di subnet publik memiliki Nama Grup Reduce-core. ElasticMap Grup keamanan terkelola default memiliki aturan berikut, dan Amazon EMR menambahkan aturan yang sama jika Anda menentukan grup keamanan terkelola kustom.

Tipe	Protokol	Rentang port	Sumber	Detail
Aturan-aturan ke dalam
Semua ICMP-IPV4	Semua	N/A	ID Grup dari grup keamanan terkelola untuk instans inti dan instans tugas. Dengan kata lain, grup keamanan yang sama di mana aturan muncul.	Aturan refleksif ini mengizinkan lalu lintas inbound dari setiap instans yang terkait dengan grup keamanan tertentu. Menggunakan ElasticMapReduce-core default untuk beberapa klaster mengizinkan instans inti dan instans tugas dari klaster tersebut untuk berkomunikasi satu sama lain melalui ICMP atau port TCP atau UDP. Tentukan grup keamanan terkelola kustom untuk membatasi akses lintas-klaster.
Semua TCP	TCP	Semua
Semua UDP	UDP	Semua
Semua ICMP-IPV4	Semua	N/A	ID Grup grup keamanan terkelola untuk contoh utama.	Aturan ini memungkinkan semua lalu lintas ICMP masuk dan lalu lintas melalui port TCP atau UDP apa pun dari instance utama apa pun yang terkait dengan grup keamanan yang ditentukan, bahkan jika instance berada dalam kelompok yang berbeda.
Semua TCP	TCP	Semua
Semua UDP	UDP	Semua

Grup keamanan yang dikelola Amazon EMR untuk instans utama (subnet pribadi)

Grup keamanan terkelola default untuk instance utama dalam subnet pribadi memiliki Nama Grup ElasticMap Reduce-Primary-Private. Grup keamanan terkelola default memiliki aturan berikut, dan Amazon EMR menambahkan aturan yang sama jika Anda menentukan grup keamanan terkelola kustom.

Tipe	Protokol	Rentang port	Sumber	Detail
Aturan-aturan ke dalam
Semua ICMP-IPv4	Semua	N/A	ID Grup grup keamanan terkelola untuk contoh utama. Dengan kata lain, grup keamanan yang sama di mana aturan muncul.	Aturan refleksif ini mengizinkan lalu lintas inbound dari setiap instans yang terkait dengan grup keamanan tertentu dan dapat dicapai dari dalam subnet privat. Menggunakan ElasticMapReduce-Primary-Private default untuk beberapa klaster mengizinkan simpul inti dan simpul tugas klaster tersebut untuk berkomunikasi dengan satu sama lain melalui ICMP atau port TCP atau UDP. Tentukan grup keamanan terkelola kustom untuk membatasi akses lintas-klaster.
Semua TCP	TCP	Semua
Semua UDP	UDP	Semua
Semua ICMP-IPV4	Semua	N/A	ID Grup dari grup keamanan terkelola untuk simpul inti dan simpul tugas.	Aturan-aturan ini mengizinkan semua lalu lintas ICMP inbound dan lalu lintas di atas port TCP atau UDP dari setiap instans inti dan instans tugas yang terkait dengan grup keamanan tertentu dan terjangkau dari di subnet privat, bahkan jika instans di klaster yang berbeda.
Semua TCP	TCP	Semua
Semua UDP	UDP	Semua
HTTPS (8443)	TCP	8443	ID Grup dari grup keamanan terkelola untuk akses layanan di subnet privat.	Aturan ini memungkinkan pengelola cluster untuk berkomunikasi dengan node utama.
Aturan-aturan ke luar
Semua lalu lintas	Semua	Semua	0.0.0.0/0	Menyediakan akses outbound ke internet.
TCP kustom	TCP	9443	ID Grup dari grup keamanan terkelola untuk akses layanan di subnet privat.	Jika aturan keluar default “Semua lalu lintas” di atas dihapus, aturan ini adalah persyaratan minimum untuk Amazon EMR 5.30.0 dan yang lebih baru. catatan Amazon EMR tidak menambahkan aturan ini saat Anda menggunakan grup keamanan terkelola khusus.
TCP Kustom	TCP	80 (http) atau 443 (https)	ID Grup dari grup keamanan terkelola untuk akses layanan di subnet privat.	Jika aturan keluar default “Semua lalu lintas” di atas dihapus, aturan ini adalah persyaratan minimum untuk Amazon EMR 5.30.0 dan yang lebih baru untuk terhubung ke Amazon S3 melalui https. catatan Amazon EMR tidak menambahkan aturan ini saat Anda menggunakan grup keamanan terkelola khusus.

Grup keamanan terkelola Amazon EMR untuk instans inti dan instans tugas (subnet privat)

Grup keamanan terkelola default untuk instance inti dan tugas di subnet pribadi memiliki Nama Grup Reduce-Core-Private. ElasticMap Grup keamanan terkelola default memiliki aturan berikut, dan Amazon EMR menambahkan aturan yang sama jika Anda menentukan grup keamanan terkelola kustom.

Tipe	Protokol	Rentang port	Sumber	Detail
Aturan-aturan ke dalam
Semua ICMP-IPV4	Semua	N/A	ID Grup dari grup keamanan terkelola untuk instans inti dan instans tugas. Dengan kata lain, grup keamanan yang sama di mana aturan muncul.	Aturan refleksif ini mengizinkan lalu lintas inbound dari setiap instans yang terkait dengan grup keamanan tertentu. Menggunakan ElasticMapReduce-core default untuk beberapa klaster mengizinkan instans inti dan instans tugas dari klaster tersebut untuk berkomunikasi satu sama lain melalui ICMP atau port TCP atau UDP. Tentukan grup keamanan terkelola kustom untuk membatasi akses lintas-klaster.
Semua TCP	TCP	Semua
Semua UDP	UDP	Semua
Semua ICMP-IPV4	Semua	N/A	ID Grup grup keamanan terkelola untuk contoh utama.	Aturan ini memungkinkan semua lalu lintas ICMP masuk dan lalu lintas melalui port TCP atau UDP apa pun dari instance utama apa pun yang terkait dengan grup keamanan yang ditentukan, bahkan jika instance berada dalam kelompok yang berbeda.
Semua TCP	TCP	Semua
Semua UDP	UDP	Semua
HTTPS (8443)	TCP	8443	ID Grup dari grup keamanan terkelola untuk akses layanan di subnet privat.	Aturan ini mengizinkan manajer klaster untuk berkomunikasi dengan simpul inti dan simpul tugas.
Aturan-aturan ke luar
Semua lalu lintas	Semua	Semua	0.0.0.0/0	Lihat Mengedit aturan outbound di bawah ini.
TCP Kustom	TCP	80 (http) atau 443 (https)	ID Grup dari grup keamanan terkelola untuk akses layanan di subnet privat.	Jika aturan keluar default “Semua lalu lintas” di atas dihapus, aturan ini adalah persyaratan minimum untuk Amazon EMR 5.30.0 dan yang lebih baru untuk terhubung ke Amazon S3 melalui https. catatan Amazon EMR tidak menambahkan aturan ini saat Anda menggunakan grup keamanan terkelola khusus.

Mengedit aturan outbound

Secara default, Amazon EMR menciptakan grup keamanan ini dengan aturan outbound yang mengizinkan semua lalu lintas keluar pada semua protokol dan port. Mengizinkan semua lalu lintas keluar dipilih karena berbagai Amazon EMR dan aplikasi pelanggan yang dapat berjalan di klaster Amazon EMR mungkin memerlukan aturan outbound yang berbeda. Amazon EMR tidak dapat mengantisipasi pengaturan khusus ini saat membuat grup keamanan default. Anda dapat cakupan jalan keluar di grup keamanan Anda untuk menyertakan hanya aturan-aturan yang sesuai dengan kasus penggunaan dan kebijakan keamanan Anda. Minimal, grup keamanan ini memerlukan aturan outbound berikut, tetapi beberapa aplikasi mungkin memerlukan jalan keluar tambahan.

Tipe	Protokol	Rentang Port	Tujuan	Detail
Semua TCP	TCP	Semua	pl-xxxxxxxx	Daftar prefiks Amazon S3 terkelola com.amazonaws.MyRegion.s3.
Semua lalu lintas	Semua	Semua	sg-xxxxxxxxxxxxxxxxx	ID dari ElasticMapReduce-Core-Private grup keamanan.
Semua lalu lintas	Semua	Semua	sg-xxxxxxxxxxxxxxxxx	ID dari ElasticMapReduce-Primary-Private grup keamanan.
TCP kustom	TCP	9443	sg-xxxxxxxxxxxxxxxxx	ID dari ElasticMapReduce-ServiceAccess grup keamanan.

Grup keamanan terkelola Amazon EMR untuk akses layanan (subnet privat)

Grup keamanan terkelola default untuk akses layanan di subnet pribadi memiliki Nama Grup ElasticMap Reduce - ServiceAccess. Memiliki aturan inbound, dan aturan outbound yang mengizinkan lalu lintas melalui HTTPS (port 8443, port 9443) untuk grup keamanan terkelola lainnya di subnet privat. Aturan-aturan ini memungkinkan pengelola cluster untuk berkomunikasi dengan node utama dan dengan node inti dan tugas. Aturan yang sama diperlukan jika Anda menggunakan grup keamanan kustom.

Tipe	Protokol	Rentang port	Sumber	Detail
Aturan masuk Diperlukan untuk klaster EMR Amazon dengan rilis EMR Amazon 5.30.0 dan yang lebih baru.
TCP Kustom	TCP	9443	ID Grup grup keamanan terkelola untuk contoh utama.	Aturan ini memungkinkan komunikasi antara grup keamanan instans utama ke grup keamanan akses layanan.
Aturan keluar Diperlukan untuk semua kluster EMR Amazon
TCP Kustom	TCP	8443	ID Grup grup keamanan terkelola untuk contoh utama.	Aturan-aturan ini memungkinkan pengelola cluster untuk berkomunikasi dengan node utama dan dengan node inti dan tugas.
TCP Kustom	TCP	8443	ID Grup dari grup keamanan terkelola untuk instans inti dan instans tugas.	Aturan-aturan ini memungkinkan pengelola cluster untuk berkomunikasi dengan node utama dan dengan node inti dan tugas.