AWSarquitetura de dados moderna

Este guia não descreve como implementar uma estrutura de estratégia de dados emAWS. Esse é um tópico extenso que é abordado emAWSdocumentação, publicações em blogs e outros guias (consulte a seção Recursos). No entanto, o diagrama a seguir fornece uma visão geral de alto nível. Ele ilustra os principais componentes de umarquitetura de dados moderna emAWSe abrange a maioria dos serviços que podem estar em seu roteiro.

Os principais componentes dessa arquitetura suportam os princípios técnicos de uma estratégia de dados moderna que foramdiscutido anteriormente:

1. Use umcamada de armazenamento integrada, econômica e escalável, para que cada produtor e consumidor de dados tenha os recursos técnicos para interagir com os dados.

   Serviço de armazenamento simples da Amazon (Amazon S3)é um serviço de armazenamento de objetos que fornece integração, escalabilidade, disponibilidade de dados, segurança e desempenho a um custo baixo.

2. A segurança é obrigatória. Aplique regras de privacidade de dados, forneça proteção de dados com criptografia, habilite a auditoria e forneça conformidade automatizada.

   Para aplicar a privacidade, a proteção e a conformidade dos dados de forma automatizada e para permitir a auditoria, você pode usarAWS Key Management Service(AWS KMS),AWS Identity and Access Management(EU SOU),AWS Secrets Manager,AWS Audit Manager, eAmazon Macie.

3. Controle os dados a serem compartilhadosisso em toda a empresa. Forneça um catálogo de dados exclusivo e um glossário comercial para que os usuários possam encontrar e usar os dados de que precisam.

   AWS Lake Formationajuda você a controlar os dados e compartilhá-los em toda a empresa. Além disso, você pode criar um catálogo de dados exclusivo noAWS Gluee um glossário de negócios usandoAmazôniaDataZone(em versão prévia) para permitir que seus funcionários encontrem os dados de que precisam.

4. Selecione oserviço certo para o trabalho certo. Considere a funcionalidade, a escalabilidade, a latência dos dados, o esforço necessário para executar o serviço, a resiliência, a integração e a automação ao escolher um componente.

   Você pode considerarAmazon Athena,Amazon EMR,AWS Glue,AmazôniaOpenSearchServiço,Amazon Kinesis,Amazon Redshift,Streaming gerenciado pela Amazon para Apache Kafka (Amazon MSK), eAmazôniaQuickSightpara gerenciar suas tarefas. Por exemplo, você pode realizar streaming em tempo real com o Kinesis ou o Amazon MSK, o processamento de dados com o Amazon EMR ouAWS Glue, pesquise comOpenSearchServiço, consultas ad-hoc com o Athena e armazenamento de dados com o Amazon Redshift.

5. Useinteligência artificial (IA) e aprendizado de máquina (ML).

   Você pode habilitar o uso da inteligência artificial comAWSServiços de IAe aprendizado de máquina comAmazôniaSageMaker.

6. Forneçaalfabetização de dadose ferramentas comabstrações para empresários.

   Os processos para fornecer conhecimento de dados, ferramentas e abstrações não fazem parte da arquitetura, mas você pode usarAmazôniaDataZone(em pré-visualização),AWS Lake Formation, eAmazôniaQuickSightcomo ferramentas de abstração de dados.

7. Teste as hipótesesde suas iniciativas de dados emedir seus resultados.

   Você pode usar oAmazôniaOpenSearchServiçopainel ouAmazôniaQuickSightpara trabalhar com métricas de resultados de negócios e resultados de testes e validar suas hipóteses.

Para obter exemplos de arquiteturas de exemplo para diferentes casos de uso, consulte os diagramas de arquitetura de referência naAWSCentro de arquitetura. Sua equipe técnica deve usar esses diagramas somente como referência e personalizá-los com base em seus próprios requisitos, ambientes e projetos.