Permissões de integração ao Lake Formation - AWS Lake Formation

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Permissões de integração ao Lake Formation

AWS Lake Formation usa o AWS Glue Data Catalog (Catálogo de dados) para armazenar metadados para os data lakes do Amazon S3 e fontes de dados externas, como o Amazon Redshift, na forma de catálogos, bancos de dados e tabelas. Os metadados no Catálogo de Dados são organizados em uma hierarquia de dados de três níveis que inclui catálogos, bancos de dados e tabelas. Ele organiza dados de várias fontes em contêineres lógicos chamados catálogos. Bancos de dados são coleções de tabelas. O catálogo de dados também contém links de recursos, que são links para bancos de dados e tabelas compartilhados em contas externas e são usados para acesso entre contas aos dados no data lake. Cada AWS conta tem um catálogo de dados por AWS região.

O Lake Formation fornece um modelo de permissões do sistema de gerenciamento de banco de dados relacional (RDBMS) para conceder ou revogar o acesso a catálogos, bancos de dados, tabelas e colunas no Catálogo de Dados com dados subjacentes no Amazon S3.

Antes de aprender sobre os detalhes do modelo de permissões do Lake Formation, é útil revisar as seguintes informações básicas:

  • Data lakes gerenciados pelo Lake Formation residem em locais designados no Amazon Simple Storage Service (Amazon S3). O Catálogo de Dados também contém objetos de catálogo. Cada catálogo representa dados de fontes como armazéns de dados do Amazon Redshift, Amazon DynamoDB bancos de dados e fontes de dados de terceiros, como Snowflake, MySQL, e mais de 30 fontes de dados externas, que são integradas por meio de conectores federados.

  • O Lake Formation mantém um catálogo de dados que contém metadados sobre dados de origem a serem importados para seus data lakes, como dados em logs e bancos de dados relacionais, e sobre dados em seus data lakes no Amazon S3. O catálogo de dados também contém metadados sobre dados de fontes de dados externas que não sejam o Amazon S3. Os metadados são organizados em catálogos, bancos de dados e tabelas. As tabelas de metadados contêm esquema, localização, particionamento e outras informações sobre os dados que elas representam. Bancos de dados de metadados são coleções de tabelas.

  • O catálogo de dados do Lake Formation é o mesmo catálogo de dados usado pelo AWS Glue. Você pode usar crawlers do AWS Glue para criar tabelas do catálogo de dados e pode usar tarefas de extração, transformação e carregamento (ETL) do AWS Glue para preencher os dados subjacentes em seus data lakes.

  • Os catálogos, bancos de dados e tabelas no Catálogo de Dados são chamados de recursos do Catálogo de Dados. As tabelas no catálogo de dados são chamadas de tabelas de metadados para diferenciá-las das tabelas nas fontes de dados ou dos dados tabulares no Amazon S3. Os dados para os quais as tabelas de metadados apontam no Amazon S3 ou nas fontes de dados são chamados de dados subjacentes.

  • Um principal é um usuário ou função, um usuário ou grupo da Amazon, um QuickSight usuário ou grupo que se autentica no Lake Formation por meio de um provedor SAML ou, para controle de acesso entre contas, um ID da AWS conta, ID da organização ou ID da unidade organizacional.

  • AWS Glueos rastreadores criam tabelas de metadados, mas você também pode criar tabelas de metadados manualmente com o console do Lake Formation, a API ou o (). AWS Command Line Interface AWS CLI Ao criar uma tabela de metadados, você deve especificar uma localização. Quando você cria um banco de dados, o local é opcional. Os locais das tabelas podem ser locais do Amazon S3 ou locais de fonte de dados, como um banco de dados do Amazon Relational Database Service (Amazon RDS). Os locais do banco de dados são sempre locais do Amazon S3.

  • Serviços que se integram ao Lake Formation, como Amazon Athena e Amazon Redshift, podem acessar o catálogo de dados para obter metadados e verificar a autorização para executar consultas. Para obter uma lista completa de serviços integrados, consulte AWS integrações de serviços com Lake Formation.