Registrar sua conexão como um Glue Data Catalog

Após criar sua fonte de dados, você poderá usar o console do Athena para registrar sua conexão como um Glue Data Catalog. Após o registro, você poderá gerenciar seu catálogo de dados federados e habilitar um controle de acesso refinado usando o Lake Formation. Para obter mais informações, consulte Creating a federated catalog.

É possível registrar os seguintes conectores para integração com o AWS Glue a fim de oferecer um controle de acesso refinado.

• Redshift

• BigQuery

• DynamoDB (pré-visualização)

• Snowflake (pré-visualização)

• MySQL

• PostgreSQL

• AWS CMDB

• Timestream

• Azure Data Lake Storage

• Azure Synapse

• IBM Db2

• IBM Db2 AS/400 (Db2 iSeries)

• DocumentDB

• Google Cloud Storage

• HBase

• OpenSearch

• Oracle

• SAP HANA

• SQL Server

• TPC-DS

• Cloudera Hive

• CloudWatch

• Cloudwatch Metrics

• Teradata

• Vertica

Pré-requisitos

Antes de começar, conclua os pré-requisitos a seguir.

• Certifique-se de que você tenha os perfis e as permissões necessários para registrar locais. Para obter mais informações, consulte Requisitos para funções usadas para registrar locais no Guia do desenvolvedor do AWS Lake Formation.

• Certifique-se de que você tenha os perfis necessários para o Lake Formation. Para obter mais informações, consulte Prerequisites for connecting the Data Catalog to external data sources no Guia do desenvolvedor do AWS Lake Formation.

• O perfil que você registrar no Glue deverá ter as permissões listadas no exemplo a seguir.

  JSON

  {
      "Version": "2012-10-17",
      "Statement": [
          {
              "Effect": "Allow",
              "Action": [
                  "s3:ListBucket",
                  "s3:GetObject"
              ],
              "Resource": [
      "arn:aws:s3:::amzn-s3-demo-bucket/spill-prefix/*",
      "arn:aws:s3:::amzn-s3-demo-bucket/spill-prefix"
              ]
          },
          {
              "Sid": "lambdainvoke",
              "Effect": "Allow",
              "Action": "lambda:InvokeFunction",
              "Resource": "arn:aws:lambda:us-east-1:111122223333:function:lambda_function_name"
          },
          {
              "Sid": "gluepolicy",
              "Effect": "Allow",
              "Action": "glue:*",
              "Resource": [
              "arn:aws:glue:us-east-1:111122223333:connection/<connection_name>",
      "arn:aws:glue:us-east-1:111122223333:catalog"
              ]
          }
      ]
  }
  

• Você é responsável por determinar e gerenciar o acesso adequado aos dados. Com controles de acesso refinados em consultas federadas, é recomendável usar a política gerenciada AmazonAthenaFullAccess. Se quiser usar sua própria política, você deverá garantir que os usuários que executam consultas federadas não tenham acesso aos seguintes recursos.

  • lambda:InvokeFunction no conector Lambda especificado na conexão do Glue

  • Acesso à localização do bucket de derramamento no IAM

  • Acesso à conexão do Glue associada ao seu catálogo federado

  • Perfil do Lake Formation no IAM

Registrar sua conexão usando o console

Para registrar sua conexão como um Glue Data Catalog

1. Abra o console do Athena em https://console.aws.amazon.com/athena/.

2. No painel de navegação, escolha Fontes de dados e catálogos.

3. Na lista Fontes de dados, escolha a fonte de dados que você criou para abrir a página Detalhes da fonte de dados.

4. Escolha Comece a usar o AWS Lake Formation.

   nota

   Após escolher essa opção, você deverá gerenciar sua função do Lambda por conta própria. O Athena não excluirá sua função do Lambda.

5. Em Nome do catálogo de dados, forneça um nome exclusivo para seu catálogo.

6. Escolha o Perfil do IAM do Lake Formation que concede permissão ao Lake Formation para invocar a função do Lambda. Certifique-se de que seu perfil tenha as permissões deste exemplo.

7. Na caixa de texto, digite confirmar para excluir a fonte de dados do Athena e substituí-la por um registro do catálogo de dados do Glue.

   nota

   Essa ação excluirá sua fonte de dados do Athena e criará um novo Glue Data Catalog em seu lugar. Após a conclusão desse processo, talvez seja necessário atualizar as consultas que acessam a fonte de dados para fazer referência ao catálogo de dados do Glue recém-criado.

8. Escolha Criar catálogo e acessar o Lake Formation. Isso vai abrir o console do Lake Formation, onde você poderá gerenciar o catálogo e conceder permissões aos usuários em catálogos, bancos de dados e tabelas.