Consumidores de dados

Os consumidores de dados consomem os dados do produtor de dados depois que o catálogo centralizado os compartilha usando AWS Lake Formation. O diagrama a seguir mostra dois consumidores de dados no data lake.

Há dois tipos de consumidores de dados: aplicativos e servidores de dados. A tabela a seguir descreve esses dois tipos.

Tipo de aplicação

Os consumidores de dados de aplicativos executam aplicativos por conta própria Contas da AWS. Os aplicativos consomem as funções AWS Identity and Access Management (IAM) para acessar os dados compartilhados de um produtor de dados e depois processá-los de acordo com sua lógica. Normalmente, esse tipo de consumidor de dados tem requisitos de dados prescritivos para atender às necessidades de um aplicativo.

Tipo de servidor de dados

Os consumidores de dados que servem dados geralmente se destinam a indivíduos (por exemplo, analistas de dados ou cientistas de dados) e aplicativos (por exemplo, um aplicativo de business intelligence) que não têm seus próprios. Contas da AWS Vários consumidores de dados que servem dados podem existir no data lake de uma organização. Por exemplo, diferentes linhas de negócios podem optar por configurar seus próprios consumidores de dados de servidor de dados para ajudar os usuários a consumir dados do data lake. Esses consumidores de dados têm seus próprios princípios de função do IAM configurados Conta da AWS (por exemplo, funções do IAM associadas a AWS IAM Identity Center) que são usados pelos usuários finais na conta do consumidor de dados para acessar dados compartilhados por meio de AWS serviços (por exemplo, Amazon Athena). Normalmente, esse tipo de consumidor de dados tem requisitos de dados abrangentes e continuamente crescentes.

AWS Lake Formation é o AWS serviço mais importante usado por um consumidor de dados para compartilhar dados entre contas e acessar o catálogo centralizado. Depois que os bancos de dados são compartilhados pelo catálogo centralizado, os recursos compartilhados ficam disponíveis no Lake Formation na conta do consumidor de dados. O acesso aos dados pode então ser concedido aos diretores locais do IAM na conta do consumidor de dados, com permissão do produtor de dados, se necessário. Os dados compartilhados podem então ser usados por AWS serviços integrados ao Lake Formation (por exemplo, Amazon Athena e AWS Glue). Você pode usar os seguintes AWS serviços para acessar dados compartilhados na conta do consumidor de dados:

• O Amazon Athena é um serviço de consulta interativo que ajuda a analisar dados diretamente no Amazon Simple Storage Service (Amazon S3) usando SQL padrão. Para obter mais informações sobre o Athena e o Lake Formation, consulte Como o Athena acessa os dados registrados no Lake Formation na documentação do Amazon Athena.

• O Amazon Redshift Spectrum ajuda você a consultar e recuperar com eficiência dados estruturados e semiestruturados de arquivos no Amazon S3 sem precisar carregar os dados nas tabelas do Amazon Redshift. Para obter mais informações sobre o Redshift Spectrum e o Lake Formation, consulte Usando o Redshift Spectrum com o Lake Formation na documentação do Amazon Redshift.

• AWS Glueé um serviço de extração, transformação e carregamento (ETL) totalmente gerenciado que torna simples e econômico categorizar seus dados, limpá-los, enriquecê-los e movê-los de forma confiável entre diferentes armazenamentos de dados e fluxos de dados. A função IAM associada a um trabalho de AWS Glue ETL pode acessar os dados do data lake gerenciados pelo Lake Formation se eles tiverem as permissões de acesso necessárias.

• O Amazon EMR ajuda a executar estruturas de big data (por exemplo, Apache Hadoop e Apache Spark) para processar e analisar grandes quantidades de dados. Para obter mais informações sobre o Amazon EMR e o Lake Formation, consulte Integrar o Amazon EMR com o Lake Formation na documentação do Amazon EMR.

• QuickSightA Amazon é um serviço de inteligência de negócios escalável, sem servidor, incorporável e baseado em aprendizado de máquina (ML) que você pode usar para analisar e visualizar dados do seu data lake. Para obter mais informações sobre QuickSight Lake Formation, consulte Autorização de conexões por meio do Lake Formation na QuickSight documentação.

• O Amazon SageMaker AI Data Wrangler (Data Wrangler) reduz o tempo necessário para agregar e preparar dados para ML. Para obter mais informações sobre o Data Wrangler e o Lake Formation, consulte Preparar dados de ML com o Amazon SageMaker AI Data Wrangler na documentação do Amazon AI. SageMaker