Requisitos para conectar o catálogo de dados ao Repositório do Hive - AWS Lake Formation

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Requisitos para conectar o catálogo de dados ao Repositório do Hive

Para AWS Glue Data Catalog conectar-se a um metastore externo do Apache Hive e configurar as permissões de acesso aos dados, você precisa preencher os seguintes requisitos:

nota

Recomendamos que um administrador do Lake Formation implante o AWS SAM aplicativo e que somente um usuário privilegiado use a conexão de metastore do Hive para criar os bancos de dados federados correspondentes.

  1. Crie perfis do IAM.
    Para implantar o AWS SAM aplicativo
    • Crie uma função que tenha as permissões necessárias para implantar os recursos (função Lambda Amazon API Gateway, função do IAM e conexão) necessários para criar uma conexão com AWS Glue a metastore do Hive.

    Como criar bancos de dados federados

    As seguintes permissões são necessárias nos recursos:

    • glue:CreateDatabase on resource arn:aws:glue:region:account-id:database/gluedatabasename

    • glue:PassConnection on resource arn:aws:glue:region:account-id:connection/hms_connection

  2. Registre o local do Amazon S3 com o Lake Formation.

    Para usar o Lake Formation para gerenciar e proteger os dados em seu data lake, você deve registrar o local do Amazon S3 que tem os dados das tabelas na repositório do Hive com o Lake Formation. Ao fazer isso, a Lake Formation pode fornecer credenciais para serviços AWS analíticos como Athena, Redshift Spectrum e Amazon EMR.

    Para obter mais informações sobre o registro de um local do Amazon S3, consulte Adicionar uma localização do Amazon S3 ao seu data lake.

    Ao registrar a localização do Amazon S3, marque a caixa de seleção Habilitar federação do Catálogo de Dados para permitir que o Lake Formation assuma um perfil para acessar tabelas em um banco de dados federado.

    Register location form for AWS Lake Formation with Amazon S3 path and IAM role options.

    Para obter mais informações sobre como registrar um local de dados no Lake Formation, consulte Como configurar um local no Amazon S3 para o data lake.

  3. Use a versão correta do Amazon EMR.

    Para usar o Amazon EMR com os bancos de dados federados do repositório do Hive, você precisa ter o Hive versão 3.x ou posterior e o Amazon EMR versão 6.x ou posterior.