Verwenden von Amazon S3 Access Grants mit EMR Serverless

Übersicht über S3 Access Grants für EMR Serverless

Mit den Amazon EMR-Versionen 6.15.0 und höher bieten Amazon S3 Access Grants eine skalierbare Zugriffskontrolllösung, mit der Sie den Zugriff auf Ihre Amazon S3 S3-Daten von EMR Serverless aus erweitern können. Wenn Sie über eine komplexe oder umfangreiche Berechtigungskonfiguration für Ihre S3-Daten verfügen, verwenden Sie Access Grants, um S3-Datenberechtigungen für Benutzer, Rollen und Anwendungen zu skalieren.

Verwenden Sie S3 Access Grants, um den Zugriff auf Amazon S3 S3-Daten über die Berechtigungen hinaus zu erweitern, die durch die Runtime-Rolle oder die IAM-Rollen gewährt wurden, die den Identitäten mit Zugriff auf Ihre EMR Serverless-Anwendung zugewiesen sind.

Weitere Informationen finden Sie unter Managing access with S3 Access Grants for Amazon EMR im Amazon EMR Management Guide und Managing access with S3 Access Grants im Amazon Simple Storage Service User Guide.

In diesem Abschnitt wird beschrieben, wie Sie eine serverlose EMR-Anwendung starten, die S3 Access Grants verwendet, um Zugriff auf Daten in Amazon S3 zu gewähren. Schritte zur Verwendung von S3 Access Grants mit anderen Amazon-EMR-Bereitstellungen finden Sie in der folgenden Dokumentation:

• Verwenden von S3 Access Grants mit Amazon EMR

• Verwenden von S3 Access Grants mit Amazon EMR in EKS

Starten Sie eine serverlose EMR-Anwendung mit S3 Access Grants für die Datenverwaltung

Sie können S3 Access Grants auf EMR Serverless aktivieren und eine Spark-Anwendung starten. Wenn Ihre Anwendung eine Anfrage für S3-Daten stellt, stellt Amazon S3 temporäre Anmeldeinformationen bereit, die auf den jeweiligen Bucket, das Präfix oder das Objekt beschränkt sind.

1. Richten Sie eine Jobausführungsrolle für Ihre EMR Serverless-Anwendung ein. Geben Sie die erforderlichen IAM-Berechtigungen an, sodass Sie Spark-Jobs ausführen und S3 Access Grants verwenden müssen, und: s3:GetDataAccess s3:GetAccessGrantsInstanceForPrefix

   {
       "Effect": "Allow",
       "Action": [
       "s3:GetDataAccess",
       "s3:GetAccessGrantsInstanceForPrefix"
       ],
       "Resource": [     //LIST ALL INSTANCE ARNS THAT THE ROLE IS ALLOWED TO QUERY
            "arn:aws_partition:s3:Region:account-id1:access-grants/default",
            "arn:aws_partition:s3:Region:account-id2:access-grants/default"
       ]
   }

   Anmerkung

   Wenn Sie IAM-Rollen für die Auftragsausführung angeben, die über zusätzliche Berechtigungen für den direkten Zugriff auf S3 verfügen, können Benutzer auf die durch die Rolle zugelassenen Daten zugreifen, auch wenn sie keine Genehmigung von S3 Access Grants haben.

2. Starten Sie Ihre EMR Serverless-Anwendung mit dem Amazon EMR-Release-Label 6.15.0 oder höher und der spark-defaults Klassifizierung, wie das folgende Beispiel zeigt. Ersetzen Sie die Werte in red text mit den passenden Werten für Ihr Nutzungsszenario.

   aws emr-serverless start-job-run \
     --application-id application-id \
     --execution-role-arn job-role-arn \
     --job-driver '{
           "sparkSubmit": {
               "entryPoint": "s3://us-east-1.elasticmapreduce/emr-containers/samples/wordcount/scripts/wordcount.py",
               "entryPointArguments": ["s3://amzn-s3-demo-destination-bucket1/wordcount_output"],
               "sparkSubmitParameters": "--conf spark.executor.cores=1 --conf spark.executor.memory=4g --conf spark.driver.cores=1 --conf spark.driver.memory=4g --conf spark.executor.instances=1"
           }
       }' \
     --configuration-overrides '{
       "applicationConfiguration": [{
           "classification": "spark-defaults", 
           "properties": {
             "spark.hadoop.fs.s3.s3AccessGrants.enabled": "true",
             "spark.hadoop.fs.s3.s3AccessGrants.fallbackToIAM": "false"
            }
         }]
   }'

Überlegungen zu S3 Access Grants mit EMR Serverless

Wichtige Informationen zu Support, Kompatibilität und Verhalten bei der Verwendung von Amazon S3 Access Grants mit EMR Serverless finden Sie unter Überlegungen zu S3 Access Grants with Amazon EMR im Amazon EMR Management Guide.