AWS ofertas para malha de dados

Use os recursos de análise para criar AWS a solução de dados baseada em malha de dados para sua organização. A análise do AWS recurso recomenda vários Serviços da AWS para criar uma malha de dados a baixo custo sem comprometer o desempenho. Os clientes adotaram as seguintes opções para criar uma solução baseada em malha de dados:

• Implemente a malha de dados usando a Amazon DataZone

• Implemente a malha de dados usando estruturas de código aberto AWS , como data.all

• Implemente a malha de dados usando AWS Lake Formation

Essas três opções usam o seguinte Serviços da AWS:

• Amazon Athena

• Amazon Bedrock

• Amazon EMR

• AWS Glue(incluindo AWS Glue Data Catalog e um AWS Glue rastreador)

• AWS Identity and Access Management (IAM)

• AWS Key Management Service (AWS KMS)

• Amazon Kinesis

• AWS Lake Formation

• Amazon Managed Streaming para Apache Kafka (Amazon) MSK

• Amazon QuickSight

• Amazon Redshift

• AWS Resource Access Manager (AWS RAM)

• SageMaker IA da Amazon

• AWS Secrets Manager

• Amazon Simple Storage Service (Amazon S3)

A DataZone opção Amazon também usa a Amazon EventBridge.

O data.all e as AWS Lake Formation opções também usam o seguinte Serviços da AWS e os recursos:

• Amazon API Gateway

• AWS CloudFormation

• Amazon Cognito

• AWS Lambda

• AWS Systems Manager Parameter Store

• AWS WAF

O Serviços da AWS que você usa em sua implementação pode ser diferente, com base nos requisitos da sua organização.

Amazon DataZone

Se você quiser usar um serviço totalmente gerenciado, considere usar DataZone a Amazon para implementar uma malha de dados em sua organização. DataZone A Amazon é um serviço de gerenciamento de dados para catalogar, descobrir, compartilhar e governar dados armazenados localmente e em AWS fontes terceirizadas. O diagrama a seguir mostra uma arquitetura de referência de malha de dados baseada na Amazon DataZone.

Na arquitetura de referência, as contas dos membros pertencem aos domínios de dados. Eles são agrupados em produtores e consumidores de dados. O diagrama de arquitetura contém os seguintes componentes:

1. Os produtores de dados publicam produtos de dados no catálogo de negócios fornecido pelo portal de DataZone dados da Amazon. O portal de dados está hospedado na conta de governança central.

2. Os consumidores de dados (usuários) fazem login no portal de dados usando suas AWS credenciais ou credenciais de login único. Eles podem navegar no catálogo e pesquisar os produtos de dados de seu interesse usando palavras-chave. Eles podem filtrar os resultados da pesquisa.

3. Depois que os usuários de dados pertencentes às equipes de consumidores encontrarem o produto de dados de seu interesse, eles poderão solicitar acesso aos dados. DataZone A Amazon tem um fluxo de trabalho de gerenciamento de acesso integrado que o proprietário dos dados usa para revisar e aprovar a solicitação.

4. As equipes de consumidores de dados podem consumir os dados para capacitar sua inteligência artificial e aprendizado de máquina (IA/ML), análises e relatórios, além de extrair, transformar e carregar (ETL) casos de uso.

Dados. Todos

Se você entende de código aberto e deseja criar e gerenciar sua própria solução, considere usar estruturas de código aberto, como data.all. O Data.all é um mercado de dados moderno que oferece suporte à colaboração entre diversos usuários. O Data.all simplifica a descoberta de dados, o compartilhamento e o gerenciamento granular do acesso a dados, enquanto os criadores usam o AWS portfólio de serviços de dados e análises. O diagrama a seguir mostra uma arquitetura de referência de malha de dados baseada em data.all.

O diagrama de arquitetura contém os seguintes componentes:

1. Os produtores de dados publicam produtos de dados no catálogo fornecido pelo frontend data.all. O front-end e o back-end do data.all estão hospedados na conta de governança central.

2. Os consumidores de dados (usuários) fazem login no frontend data.all usando suas credenciais de login único ou do Amazon Cognito. Eles podem navegar pelo catálogo e pesquisar os produtos de dados de seu interesse. Eles podem filtrar os resultados da pesquisa.

3. Depois que os usuários de dados pertencentes às equipes de consumidores encontrarem o produto de dados de seu interesse, eles poderão solicitar acesso aos dados. O Data.all tem um fluxo de trabalho de gerenciamento de acesso integrado que o proprietário dos dados usa para revisar e aprovar solicitações de acesso.

4. As equipes de consumidores podem consumir os dados para capacitar sua IA/ML, análises, relatórios e casos de uso. ETL

AWS Lake Formation

Se você quiser criar uma solução de malha de dados personalizada do zero e gerenciá-la, considere usá-la AWS Lake Formation. O Lake Formation ajuda você a governar, proteger e compartilhar dados de forma centralizada para análise e aprendizado de máquina de forma centralizada. O diagrama a seguir mostra uma arquitetura de referência de malha de dados baseada em Lake Formation.

O diagrama de arquitetura contém os seguintes componentes:

1. Os produtores de dados publicam produtos de dados na conta AWS Glue Data Catalog de governança central. AWS Lake Formation gerencia o acesso às entidades do Catálogo de Dados central.

2. Depois que o acesso é concedido, as equipes de consumidores podem consumir os dados para capacitar sua IA/ML, análises, relatórios e casos de uso. ETL