Uso de Amazon S3 Access Grants con Amazon EMR en EKS

Descripción general de S3 Access Grants para Amazon EMR en EKS

Con las EMR versiones 6.15.0 y posteriores de Amazon, las subvenciones de acceso de Amazon S3 proporcionan una solución de control de acceso escalable que puede utilizar para aumentar el acceso a sus datos de Amazon S3 desde Amazon en adelante. EMR EKS Si cuenta con una configuración de permisos compleja o amplia de datos de S3, puede utilizar Access Grants para escalar los permisos de datos de S3 para usuarios, roles y aplicaciones.

Utilice S3 Access Grants para aumentar el acceso a los datos de Amazon S3 más allá de los permisos otorgados por el rol de tiempo de ejecución o los IAM roles asociados a las identidades con acceso a su EKS clúster de Amazon EMR on.

Para obtener más información, consulte Administrar el acceso con S3 Access Grants para Amazon EMR en la Guía de EMR administración de Amazon y Administrar el acceso con S3 Access Grants en la Guía del usuario de Amazon Simple Storage Service.

En esta página se describen los requisitos para ejecutar un trabajo de Spark EMR en Amazon EKS con la integración de S3 Access Grants. Con Amazon EMR activadoEKS, S3 Access Grants requiere una declaración de IAM política adicional en la función de ejecución de su trabajo y una configuración de anulación adicional para la StartJobRunAPI. Para ver los pasos para configurar S3 Access Grants con otras EMR implementaciones de Amazon, consulta la siguiente documentación:

• Uso de S3 Access Grants con Amazon EMR

• Uso de S3 Access Grants con EMR Serverless

Lance un EKS clúster de Amazon EMR on con S3 Access Grants para la gestión de datos

Puedes activar S3 Access Grants EMR en Amazon EKS y lanzar un trabajo de Spark. Cuando su aplicación solicita datos de S3, Amazon S3 brinda credenciales temporales que se limitan al bucket, al prefijo o al objeto.

1. Configura un rol de ejecución de tareas para tu Amazon EMR on EKS cluster. Incluye los IAM permisos necesarios para ejecutar los trabajos de Spark s3:GetDataAccess ys3:GetAccessGrantsInstanceForPrefix:

   {
       "Effect": "Allow",
       "Action": [
       "s3:GetDataAccess",
       "s3:GetAccessGrantsInstanceForPrefix"
       ],
       "Resource": [     //LIST ALL INSTANCE ARNS THAT THE ROLE IS ALLOWED TO QUERY
            "arn:aws_partition:s3:Region:account-id1:access-grants/default",
            "arn:aws_partition:s3:Region:account-id2:access-grants/default"
       ]
   }

   nota

   Si especificas IAM funciones para la ejecución de tareas que tengan permisos adicionales para acceder directamente a S3, es posible que los usuarios puedan acceder a los datos independientemente de los permisos que definas en S3 Access Grants

2. Envía un trabajo a tu Amazon EMR en EKS clúster con una etiqueta de EMR lanzamiento de Amazon de la versión 6.15 o superior y la emrfs-site clasificación, tal y como se muestra en el siguiente ejemplo. Reemplace los valores en red text con valores adecuados para su caso de uso.

   {
     "name": "myjob", 
     "virtualClusterId": "123456",  
     "executionRoleArn": "iam_role_name_for_job_execution", 
     "releaseLabel": "emr-7.2.0-latest", 
     "jobDriver": {
       "sparkSubmitJobDriver": {
         "entryPoint": "entryPoint_location",
         "entryPointArguments": ["argument1", "argument2"],  
          "sparkSubmitParameters": "--class main_class"
       }
     }, 
     "configurationOverrides": {
       "applicationConfiguration": [
         {
           "classification": "emrfs-site", 
           "properties": {
             "fs.s3.s3AccessGrants.enabled": "true",
             "fs.s3.s3AccessGrants.fallbackToIAM": "false"
            }
         }
       ], 
     }
   }

Consideraciones sobre S3 Access Grants con Amazon EMR on EKS

Para obtener información importante sobre soporte, compatibilidad y comportamiento al utilizar Amazon S3 Access Grants con Amazon EMR onEKS, consulte Consideraciones sobre S3 Access Grants con Amazon EMR en la Guía de EMR administración de Amazon.