Considerações e limitações do compartilhamento de dados de armazenamento de metadados do Hive

Com a federação de AWS Glue Data Catalog metadados (federação do catálogo de dados), você pode conectar o catálogo de dados a metastores externos que armazenam metadados para seus dados do Amazon S3 e gerenciar com segurança as permissões de acesso aos dados usando. AWS Lake Formation

As seguintes considerações e limitações se aplicam aos bancos de dados federados criados a partir dos bancos de dados do Hive:

Considerações

• AWS SAM suporte de aplicativos — Você é responsável pela disponibilidade dos recursos do aplicativo que são AWS SAM implantados (Amazon API Gateway e pela função Lambda). Certifique-se de que a conexão entre o metastore AWS Glue Data Catalog e o Hive esteja funcionando quando os usuários executam consultas.

• Requisito da versão do metastore do Hive: é possível criar bancos de dados federados somente usando o Apache Hive versão 3 e posterior.

• Requisito de banco de dados mapeado — Todo banco de dados do Hive deve ser mapeado para um novo banco de dados no Lake Formation.

• Suporte à federação em nível de banco de dados — Você pode se conectar ao repositório do Hive somente no nível do banco de dados.

• Permissões em bancos de dados federados — As permissões aplicadas em um banco de dados federado ou tabelas em um banco de dados federado persistem mesmo quando uma tabela de origem ou um banco de dados é excluído. Quando o banco de dados ou tabela de origem são recriados, você não precisa conceder as permissões novamente. Quando uma tabela federada com permissões do Lake Formation é excluída na fonte, as permissões do Lake Formation ainda estão visíveis e você pode revogá-las se necessário.

  Se um usuário excluir um banco de dados federado, todas as permissões correspondentes serão perdidas. Recriar o mesmo banco de dados com o mesmo nome não recuperará as permissões do Lake Formation. Os usuários precisarão configurar novas permissões novamente.

• IAMAllowedPrincipalpermissões de grupo em bancos de dados federados — Com base noDataLakeSettings, Lake Formation pode definir permissões para todos os bancos de dados e tabelas para um grupo virtual chamadoIAMAllowedPrincipal. O IAMAllowedPrincipal se refere a todos os IAM diretores que têm acesso aos recursos do Catálogo de Dados por meio de políticas IAM principais e políticas AWS Glue de recursos. Se essas permissões existirem em um banco de dados ou tabela, todos as entidades principais terão acesso ao banco de dados ou à tabela.

  No entanto, o Lake Formation não aceita permissões IAMAllowedPrincipal em tabelas em bancos de dados federados. Ao criar bancos de dados federados, certifique-se de passar o parâmetro CreateTableDefaultPermissions como uma lista vazia.

  Para obter mais informações, consulte Alterando as configurações padrão do seu data lake.

• Unir tabelas em consultas — Você pode unir tabelas de repositório do Hive com tabelas nativas do catálogo de dados para executar consultas.

Limitações

• Limitação na sincronização de metadados entre o AWS Glue Data Catalog e o metastore do Hive - Depois de estabelecer a conexão do metastore do Hive, você precisa criar um banco de dados federado para sincronizar os metadados no metastore do Hive com o. AWS Glue Data Catalog As tabelas no banco de dados federado são sincronizadas em runtime quando os usuários executam consultas.

• Limitação na criação de novas tabelas em um banco de dados federado — Você não poderá criar novas tabelas em bancos de dados federados.

• Limitação de permissão de dados — O suporte para permissões nas visualizações de tabela do Repositório do Hive não está disponível.