Produtores de dados

Um produtor de dados coleta, processa e armazena dados de seu domínio de dados, além de monitorar e garantir a qualidade de seus ativos de dados. O diagrama a seguir mostra a conta do produtor de dados como um componente da arquitetura de referência deste guia.

Cada produtor de dados tem um catálogo de dados privado AWS Lake Formation gerenciado por ele, Conta da AWS que é usado por seu processo interno de dados. Os produtores de dados fornecem ao catálogo centralizado permissões seletivas para seus dados, o que significa que o Lake Formation, na conta do catálogo centralizado, pode acessar os dados que o produtor de dados deseja compartilhar.

Isso significa que os produtores de dados não interagem diretamente com os consumidores de dados. Em vez disso, a conta do produtor de dados e seu local de armazenamento de dados são completamente abstraídos e ocultados do consumidor de dados. Essa abordagem reduz os custos ao remover a sobrecarga desnecessária dos produtores de dados que experimentam um aumento em seus consumidores de dados.

Uma alteração na localização dos dados do produtor de dados não afetará o consumidor de dados se a nova localização dos dados for registrada pelo catálogo centralizado. Se o produtor de dados quiser parar de compartilhar um dado específico, ele poderá remover as permissões do catálogo centralizado. Isso impede que os consumidores de dados acessem os dados e elimina a necessidade de revogar manualmente o acesso de cada consumidor de dados.

Ao usar catálogos de dados públicos e privados, os produtores de dados podem escolher o que compartilhar com os consumidores de dados e, ao mesmo tempo, gerenciar de forma independente o acesso interno aos dados por meio de um catálogo de dados privado.

A tabela a seguir descreve os dois AWS serviços que os produtores de dados usam para compartilhar dados com o catálogo centralizado.

Amazon Simple Storage Service (Amazon S3)	Ajuste a política de bucket para buckets S3 para fornecer acesso aos dados às funções AWS Identity and Access Management (IAM) no catálogo centralizado. Os produtores de dados também podem compartilhar dados armazenados em outros aplicativos ou serviços de dados usando o Amazon S3 como camada de dados intermediária.
AWS Key Management Service (AWS KMS)	Forneça permissões para as chaves AWS gerenciadas para as funções do IAM no catálogo centralizado e as AWS KMS keys usadas para criptografar os dados compartilhados do Amazon S3 nas contas do produtor de dados.