Menggunakan Hibah Akses Amazon S3 dengan Amazon di EMR EKS

Ikhtisar Hibah Akses S3 untuk Amazon di EMR EKS

Dengan Amazon EMR merilis 6.15.0 dan yang lebih tinggi, Amazon S3 Access Grants menyediakan solusi kontrol akses yang dapat diskalakan yang dapat Anda gunakan untuk menambah akses ke data Amazon S3 Anda dari Amazon. EMR EKS Jika Anda memiliki konfigurasi izin yang kompleks atau besar untuk data S3, Anda dapat menggunakan Access Grants untuk menskalakan izin data S3 untuk pengguna, peran, dan aplikasi.

Gunakan S3 Access Grants untuk menambah akses ke data Amazon S3 di luar izin yang diberikan oleh peran runtime atau IAM peran yang dilampirkan ke identitas dengan akses ke Amazon Anda di klaster. EMR EKS

Untuk informasi selengkapnya, lihat Mengelola akses dengan Hibah Akses S3 untuk Amazon EMR di Panduan EMR Manajemen Amazon dan Mengelola akses dengan Hibah Akses S3 di Panduan Pengguna Layanan Penyimpanan Sederhana Amazon.

Halaman ini menjelaskan persyaratan untuk menjalankan pekerjaan Spark EMR di Amazon EKS dengan integrasi S3 Access Grants. Dengan EMR Amazon aktifEKS, S3 Access Grants memerlukan pernyataan IAM kebijakan tambahan dalam peran eksekusi untuk pekerjaan Anda, dan konfigurasi penggantian tambahan untuk. StartJobRun API Untuk langkah-langkah menyiapkan Hibah Akses S3 dengan EMR penerapan Amazon lainnya, lihat dokumentasi berikut:

• Menggunakan Hibah Akses S3 dengan Amazon EMR

• Menggunakan Hibah Akses S3 dengan Tanpa Server EMR

Luncurkan Amazon EMR di EKS cluster dengan S3 Access Grants untuk manajemen data

Anda dapat mengaktifkan S3 Access Grants EMR di Amazon EKS dan meluncurkan pekerjaan Spark. Saat aplikasi Anda membuat permintaan untuk data S3, Amazon S3 menyediakan kredenal sementara yang dicakup ke bucket, awalan, atau objek tertentu.

1. Siapkan peran eksekusi pekerjaan untuk Amazon Anda EMR di EKS klaster. Sertakan IAM izin yang diperlukan yang Anda perlukan untuk menjalankan pekerjaan Spark, s3:GetDataAccess dan: s3:GetAccessGrantsInstanceForPrefix

   {
       "Effect": "Allow",
       "Action": [
       "s3:GetDataAccess",
       "s3:GetAccessGrantsInstanceForPrefix"
       ],
       "Resource": [     //LIST ALL INSTANCE ARNS THAT THE ROLE IS ALLOWED TO QUERY
            "arn:aws_partition:s3:Region:account-id1:access-grants/default",
            "arn:aws_partition:s3:Region:account-id2:access-grants/default"
       ]
   }

   catatan

   Jika Anda menentukan IAM peran yang untuk eksekusi pekerjaan yang memiliki izin tambahan untuk mengakses S3 secara langsung, maka pengguna mungkin dapat mengakses data terlepas dari izin yang Anda tentukan di S3 Access Grants

2. Kirimkan pekerjaan ke Amazon Anda EMR di EKS klaster dengan label EMR rilis Amazon 6,15 atau lebih tinggi dan emrfs-site klasifikasi, seperti yang ditunjukkan contoh berikut. Ganti nilai red text dengan nilai yang sesuai untuk skenario penggunaan Anda.

   {
     "name": "myjob", 
     "virtualClusterId": "123456",  
     "executionRoleArn": "iam_role_name_for_job_execution", 
     "releaseLabel": "emr-7.2.0-latest", 
     "jobDriver": {
       "sparkSubmitJobDriver": {
         "entryPoint": "entryPoint_location",
         "entryPointArguments": ["argument1", "argument2"],  
          "sparkSubmitParameters": "--class main_class"
       }
     }, 
     "configurationOverrides": {
       "applicationConfiguration": [
         {
           "classification": "emrfs-site", 
           "properties": {
             "fs.s3.s3AccessGrants.enabled": "true",
             "fs.s3.s3AccessGrants.fallbackToIAM": "false"
            }
         }
       ], 
     }
   }

Akses S3 Memberikan pertimbangan dengan Amazon di EMR EKS

Untuk informasi penting dukungan, kompatibilitas, dan perilaku saat Anda menggunakan Hibah Akses Amazon S3 dengan EMR AmazonEKS, lihat pertimbangan Hibah Akses S3 dengan Amazon EMR di Panduan Manajemen Amazon. EMR