Usando o Amazon S3 Access Grants com a Amazon em EMR EKS

Visão geral do S3 Access Grants para a Amazon EMR em EKS

Com as EMR versões 6.15.0 e superiores da Amazon, o Amazon S3 Access Grants fornece uma solução de controle de acesso escalável que você pode usar para aumentar o acesso aos seus dados do Amazon S3 a partir da Amazon. EMR EKS Se você tiver uma configuração de permissão complexa ou grande para os dados do S3, poderá usar a funcionalidade Access Grants para escalar as permissões de dados do S3 para usuários, perfis e aplicações.

Use o S3 Access Grants para aumentar o acesso aos dados do Amazon S3 além das permissões concedidas pela função de tempo de execução ou IAM pelas funções anexadas às identidades com acesso ao seu cluster Amazon on. EMR EKS

Para obter mais informações, consulte Gerenciamento de acesso com concessões de acesso do S3 para a Amazon EMR no Guia de gerenciamento da Amazon e EMR Gerenciamento do acesso com concessões de acesso do S3 no Guia do usuário do Amazon Simple Storage Service.

Esta página descreve os requisitos para executar um trabalho do Spark EMR na Amazon EKS com a integração do S3 Access Grants. Com a EMR Amazon ativadaEKS, o S3 Access Grants exige uma declaração de IAM política adicional na função de execução do seu trabalho e uma configuração adicional de substituição para o. StartJobRun API Para ver as etapas para configurar o S3 Access Grants com outras EMR implantações da Amazon, consulte a seguinte documentação:

• Usando o S3 Access Grants com a Amazon EMR

• Usando o S3 Access Grants com EMR o Serverless

Lance um EKS cluster Amazon EMR on com o S3 Access Grants para gerenciamento de dados

Você pode ativar o S3 Access Grants EMR na Amazon EKS e iniciar um trabalho no Spark. Quando sua aplicação solicita dados do S3, o Amazon S3 fornece credenciais temporárias que têm como escopo o bucket, prefixo ou objeto específico.

1. Configure uma função de execução de trabalhos para seu Amazon EMR on EKS cluster. Inclua IAM as permissões necessárias para executar trabalhos do Spark s3:GetDataAccess es3:GetAccessGrantsInstanceForPrefix:

   {
       "Effect": "Allow",
       "Action": [
       "s3:GetDataAccess",
       "s3:GetAccessGrantsInstanceForPrefix"
       ],
       "Resource": [     //LIST ALL INSTANCE ARNS THAT THE ROLE IS ALLOWED TO QUERY
            "arn:aws_partition:s3:Region:account-id1:access-grants/default",
            "arn:aws_partition:s3:Region:account-id2:access-grants/default"
       ]
   }

   nota

   Se você especificar IAM funções que, para execução de trabalhos, tenham permissões adicionais para acessar o S3 diretamente, os usuários poderão acessar os dados independentemente das permissões definidas em S3 Access Grants.

2. Envie um trabalho para seu EKS cluster da EMR Amazon com uma etiqueta de EMR lançamento da Amazon de 6.15 ou superior e a emrfs-site classificação, conforme mostra o exemplo a seguir. Substitua os valores em red text pelos valores apropriados ao seu cenário de uso.

   {
     "name": "myjob", 
     "virtualClusterId": "123456",  
     "executionRoleArn": "iam_role_name_for_job_execution", 
     "releaseLabel": "emr-7.2.0-latest", 
     "jobDriver": {
       "sparkSubmitJobDriver": {
         "entryPoint": "entryPoint_location",
         "entryPointArguments": ["argument1", "argument2"],  
          "sparkSubmitParameters": "--class main_class"
       }
     }, 
     "configurationOverrides": {
       "applicationConfiguration": [
         {
           "classification": "emrfs-site", 
           "properties": {
             "fs.s3.s3AccessGrants.enabled": "true",
             "fs.s3.s3AccessGrants.fallbackToIAM": "false"
            }
         }
       ], 
     }
   }

Considerações sobre o S3 Access Grants com a Amazon em EMR EKS

Para obter informações importantes sobre suporte, compatibilidade e comportamento ao usar o Amazon S3 Access Grants com a Amazon EMR onEKS, consulte Considerações sobre o S3 Access Grants com a Amazon EMR no Guia de Gerenciamento da Amazon EMR.