Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Bagian ini menjelaskan prasyarat untuk menyiapkan titik akhir interaktif yang dapat digunakan EMR Studio untuk terhubung ke EMR Amazon di kluster EKS dan menjalankan beban kerja interaktif.
AWS CLI
Ikuti langkah-langkah di Instal atau perbarui ke versi terbaru AWS CLI untuk menginstal versi terbaru dari AWS Command Line Interface (AWS CLI).
Instalasi eksctl
Ikuti langkah-langkah di Install kubectl untuk menginstal versi terbaru eksctl. Jika Anda menggunakan Kubernetes versi 1.22 atau yang lebih baru untuk klaster Amazon EKS Anda, gunakan versi eksctl yang lebih besar dari 0.117.0.
Klaster Amazon EKS
Buat klaster Amazon EKS. Daftarkan cluster sebagai cluster virtual dengan Amazon EMR di EKS. Berikut ini adalah persyaratan dan pertimbangan untuk cluster ini:
-
Cluster harus berada di Amazon Virtual Private Cloud (VPC) yang sama dengan EMR Studio Anda.
-
Cluster harus memiliki setidaknya satu subnet pribadi untuk mengaktifkan endpoint interaktif, untuk menautkan repositori berbasis Git, dan untuk meluncurkan Application Load Balancer dalam mode pribadi.
-
Harus ada minimal satu subnet privat yang sama antara EMR Studio Anda dan klaster Amazon EKS yang Anda gunakan untuk mendaftarkan klaster virtual Anda. Ini memastikan bahwa endpoint interaktif Anda muncul sebagai opsi di ruang kerja Studio Anda, dan mengaktifkan konektivitas dari Studio ke Application Load Balancer.
Ada dua metode yang dapat Anda pilih untuk menghubungkan Studio dan kluster Amazon EKS Anda:
-
Buat klaster Amazon EKS dan kaitkan dengan subnet milik EMR Studio Anda.
-
Atau, buat EMR Studio dan tentukan subnet pribadi untuk klaster Amazon EKS Anda.
-
-
Amazon EKS dioptimalkan ARM Amazon Linux tidak AMIs didukung untuk Amazon EMR pada titik akhir interaktif EKS.
-
Endpoint interaktif bekerja dengan kluster Amazon EKS yang menggunakan versi Kubernetes hingga 1.30.
-
Hanya grup simpul terkelola Amazon EKS yang didukung.
Berikan akses Cluster untuk Amazon EMR di EKS
Gunakan langkah-langkah dalam Grant Cluster Access untuk Amazon EMR di EKS untuk memberikan Amazon EMR di EKS akses ke namespace tertentu di cluster Anda.
Aktifkan IRSA di kluster Amazon EKS
Untuk mengaktifkan peran IAM untuk Akun Layanan (IRSA) di klaster Amazon EKS, ikuti langkah-langkah di Aktifkan Peran IAM untuk Akun Layanan (IRSA).
Buat peran eksekusi pekerjaan IAM
Anda harus membuat peran IAM untuk menjalankan beban kerja di Amazon EMR pada titik akhir interaktif EKS. Kami menyebut peran IAM ini sebagai peran eksekusi pekerjaan dalam dokumentasi ini. Peran IAM ini akan ditetapkan ke wadah endpoint interaktif dan kontainer eksekusi aktual yang dibuat saat Anda mengirimkan pekerjaan dengan EMR Studio. Anda memerlukan Nama Sumber Daya Amazon (ARN) dari peran eksekusi pekerjaan Anda untuk Amazon EMR di EKS. Ada dua langkah yang diperlukan untuk ini:
Memberikan pengguna akses ke Amazon EMR di EKS
Entitas IAM (pengguna atau peran) yang membuat permintaan untuk membuat titik akhir interaktif juga harus memiliki Amazon EC2 dan emr-containers izin berikut. Ikuti langkah-langkah yang dijelaskan Memberikan pengguna akses ke Amazon EMR di EKS untuk memberikan izin ini yang memungkinkan Amazon EMR di EKS membuat, mengelola, dan menghapus grup keamanan yang membatasi lalu lintas masuk ke penyeimbang beban titik akhir interaktif Anda.
emr-containersIzin berikut memungkinkan pengguna untuk melakukan operasi endpoint interaktif dasar:
"ec2:CreateSecurityGroup", "ec2:DeleteSecurityGroup", "ec2:AuthorizeSecurityGroupEgress", "ec2:AuthorizeSecurityGroupIngress", "ec2:RevokeSecurityGroupEgress", "ec2:RevokeSecurityGroupIngress" "emr-containers:CreateManagedEndpoint", "emr-containers:ListManagedEndpoints", "emr-containers:DescribeManagedEndpoint", "emr-containers:DeleteManagedEndpoint"
Daftarkan klaster Amazon EKS dengan Amazon EMR
Siapkan cluster virtual dan petakan ke namespace di klaster Amazon EKS tempat Anda ingin menjalankan pekerjaan Anda. Untuk cluster AWS Fargate-only, gunakan namespace yang sama untuk EMR Amazon di klaster virtual EKS dan profil Fargate.
Untuk informasi tentang pengaturan EMR Amazon di kluster virtual EKS, lihat. Daftarkan klaster Amazon EKS dengan Amazon EMR
Menerapkan AWS Load Balancer Controller ke klaster Amazon EKS
AWS Application Load Balancer diperlukan untuk klaster Amazon EKS Anda. Anda hanya perlu menyiapkan satu pengontrol Application Load Balancer per kluster Amazon EKS. Untuk informasi tentang cara menyiapkan pengontrol AWS Application Load Balancer, lihat Menginstal add-on Load AWS Balancer Controller di Panduan Pengguna Amazon EKS.
