Verwenden von Amazon S3 Access Grants mit Amazon EMR auf EKS

Übersicht über S3 Access Grants für Amazon EMR auf EKS

Mit den EMR Amazon-Versionen 6.15.0 und höher bieten Amazon S3 Access Grants eine skalierbare Zugriffskontrolllösung, mit der Sie den Zugriff auf Ihre Amazon S3 S3-Daten von Amazon aus erweitern können. EMR EKS Wenn Sie für Ihre S3-Daten eine komplexe oder umfangreiche Berechtigungskonfiguration haben, können Sie mit S3 Access Grants die S3-Datenberechtigungen für Benutzer, Gruppen, Rollen und Anwendungen skalieren.

Verwenden Sie S3 Access Grants, um den Zugriff auf Amazon S3 S3-Daten über die von der Runtime-Rolle gewährten Berechtigungen oder die IAM Rollen hinaus zu erweitern, die den Identitäten mit Zugriff EMR auf EKS Ihr Amazon On-Cluster zugewiesen sind.

Weitere Informationen finden Sie unter Verwaltung des Zugriffs mit S3 Access Grants for Amazon EMR im Amazon EMR Management Guide und Verwaltung des Zugriffs mit S3 Access Grants im Amazon Simple Storage Service User Guide.

Auf dieser Seite werden die Voraussetzungen für die Ausführung eines Spark-Jobs in EMR Amazon EKS mit der Integration von S3 Access Grants beschrieben. Wenn EMR Amazon aktiviert istEKS, erfordert S3 Access Grants eine zusätzliche IAM Richtlinienerklärung in der Ausführungsrolle für Ihren Job und eine zusätzliche Override-Konfiguration für StartJobRunAPI. Schritte zur Einrichtung von S3 Access Grants mit anderen EMR Amazon-Bereitstellungen finden Sie in der folgenden Dokumentation:

• S3 Access Grants mit Amazon verwenden EMR

• Verwendung von S3 Access Grants mit EMR Serverless

Starten Sie einen EMR EKS Amazon-On-Cluster mit S3 Access Grants für die Datenverwaltung

Sie können S3 Access Grants EMR auf Amazon aktivieren EKS und einen Spark-Job starten. Wenn Ihre Anwendung eine Anfrage für S3-Daten stellt, stellt Amazon S3 temporäre Anmeldeinformationen bereit, die auf den jeweiligen Bucket, das Präfix oder das Objekt beschränkt sind.

1. Richten Sie eine Jobausführungsrolle für Ihren EMR Amazon EKS On-Cluster ein. Geben Sie die erforderlichen IAM Berechtigungen an, die Sie für die Ausführung von Spark-Jobs benötigen, s3:GetDataAccess unds3:GetAccessGrantsInstanceForPrefix:

   {
       "Effect": "Allow",
       "Action": [
       "s3:GetDataAccess",
       "s3:GetAccessGrantsInstanceForPrefix"
       ],
       "Resource": [     //LIST ALL INSTANCE ARNS THAT THE ROLE IS ALLOWED TO QUERY
            "arn:aws_partition:s3:Region:account-id1:access-grants/default",
            "arn:aws_partition:s3:Region:account-id2:access-grants/default"
       ]
   }

   Anmerkung

   Wenn Sie IAM Rollen angeben, die für die Auftragsausführung über zusätzliche Berechtigungen für den direkten Zugriff auf S3 verfügen, können Benutzer möglicherweise unabhängig von den Berechtigungen, die Sie in S3 Access Grants definieren, auf Daten zugreifen

2. Reichen Sie einen Job mit einem EMR EMR Amazon-Release-Label von 6.15 oder höher und der emrfs-site Klassifizierung an Ihr Amazon EKS On-Cluster ein, wie das folgende Beispiel zeigt. Ersetzen Sie die Werte in red text mit den passenden Werten für Ihr Nutzungsszenario.

   {
     "name": "myjob", 
     "virtualClusterId": "123456",  
     "executionRoleArn": "iam_role_name_for_job_execution", 
     "releaseLabel": "emr-7.2.0-latest", 
     "jobDriver": {
       "sparkSubmitJobDriver": {
         "entryPoint": "entryPoint_location",
         "entryPointArguments": ["argument1", "argument2"],  
          "sparkSubmitParameters": "--class main_class"
       }
     }, 
     "configurationOverrides": {
       "applicationConfiguration": [
         {
           "classification": "emrfs-site", 
           "properties": {
             "fs.s3.s3AccessGrants.enabled": "true",
             "fs.s3.s3AccessGrants.fallbackToIAM": "false"
            }
         }
       ], 
     }
   }

Überlegungen zu S3 Access Grants mit Amazon EMR am EKS

Wichtige Informationen zu Support, Kompatibilität und Verhalten bei der Verwendung von Amazon S3 Access Grants bei aktiviertem EMR Amazon EKS finden Sie unter Überlegungen zu S3 Access Grants EMR with Amazon im Amazon EMR Management Guide.