Integração e concessão de acesso

A arquitetura de referência de data lake deste guia ajuda você a escalar de forma independente produtores e consumidores de dados, além de definir e estabelecer um processo consistente para integrar e conceder acesso a esses consumidores de dados.

As seções a seguir descrevem o processo de integração para produtores e consumidores de dados e como conceder acesso em uma conta de consumidor de dados. Este guia usa o método de recurso nomeado entre o catálogo centralizado e os consumidores de dados. O processo para o método LF-TBAC é semelhante, mas um pouco diferente. Recomendamos que você avalie e configure essas abordagens para atender às práticas e políticas de governança de dados da sua organização.

Para obter mais informações sobre esses dois métodos, consulte a Catálogo centralizado seção deste guia.

Integração de produtores de dados

O diagrama a seguir mostra como integrar um novo produtor de dados ao seu data lake.

O diagrama mostra o seguinte processo de integração:

1. O produtor de dados fornece seletivamente ao catálogo centralizado acesso aos seus dados (por exemplo, um bucket do Amazon Simple Storage Service (Amazon S3) e). AWS KMS key O acesso é fornecido aos diretores do catálogo centralizado AWS Identity and Access Management (IAM) para registrar a localização do data lake do produtor de dados AWS Lake Formation e aos diretores do IAM usados para manter o catálogo do produtor de dados.

2. Registre a localização do data lake do produtor de dados (por exemplo, um bucket S3) que usa o Lake Formation do catálogo centralizado.

3. Crie o banco de dados, as tabelas e os esquemas de tabela para os novos dados do produtor de dados no Catálogo de AWS Glue Dados.

Integração de consumidores de dados

O diagrama a seguir mostra como integrar um novo consumidor de dados ao seu data lake.

O diagrama mostra o seguinte processo de integração:

1. O consumidor de dados solicita aprovação para visualizar os dados do produtor de dados e especifica os dados que ele precisa acessar.

2. O administrador de dados do produtor de dados analisa a solicitação do consumidor de dados e avalia se deve:

   • Compartilhe algumas ou todas as tabelas nos bancos de dados solicitados. Recomendamos o compartilhamento em nível de banco de dados quando não há implicações de segurança de dados no compartilhamento de todas as tabelas com o consumidor de dados, o que ajuda a evitar a sobrecarga de gerenciamento do compartilhamento em nível de tabela.

   • Compartilhe no nível da organização, da OU ou da conta do consumidor de dados.

3. Quando aprovados pelo produtor de dados, os recursos necessários do catálogo de dados são compartilhados com o consumidor de dados no catálogo centralizado.

4. Os links de recursos podem ser criados na conta do consumidor de dados usando o Lake Formation e, em seguida, apontar para os recursos compartilhados do Catálogo de Dados no catálogo centralizado.

Depois que o processo de integração estiver concluído, o administrador do Lake Formation do consumidor de dados poderá ver o recurso do catálogo do banco de dados no catálogo centralizado e no link do recurso. Nesse estágio, ninguém mais na conta do consumidor de dados pode acessar os dados do produtor de dados.

Conceder acesso ao Select em uma conta de consumidor de dados

O diagrama a seguir mostra o processo de concessão de Selectacesso a recursos de dados compartilhados com um diretor local do IAM na conta do consumidor de dados. O principal local do IAM pode ser a função do IAM para usuários individuais ou uma função do IAM que é consumida por AWS serviços específicos.

nota

Quando os dados compartilhados são de baixa sensibilidade, você pode delegar a concessão de acesso ao próprio consumidor de dados sem exigir a aprovação do produtor de dados. Isso porque a confiança e o compartilhamento já estão estabelecidos entre eles.

O diagrama mostra o seguinte processo:

1. O diretor individual do IAM na conta do consumidor de dados solicita Select acesso ao link do recurso do diretor do IAM na conta do consumidor de dados.

2. O administrador de dados do produtor de dados analisa a solicitação do consumidor de dados e fornece aprovação se todos os requisitos forem atendidos.

3. Selecto acesso é concedido e isso permite que o diretor do IAM consuma os dados solicitados.