Automação e controle de acesso - AWS Orientação prescritiva

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Automação e controle de acesso

Automação

A automação de tubulações é uma parte crucial do design moderno de arquitetura centrada em dados. Para executar seu sistema de produção com sucesso, recomendamos que você tenha um pipeline de dados que tenha um gatilho inicial, etapas de conexão e um mecanismo para separar os estágios falhados dos aprovados. Também é importante registrar as falhas sem atrapalhar o resto do processo de ETL.

Você pode usar os fluxos de trabalho do AWS Glue para criar um pipeline. O pipeline oferece suporte a todas as tarefas do AWS Glue, EventBridge gatilhos e rastreadores da Amazon. Você também pode criar fluxos de trabalho do zero ou usando os blueprints do AWS Glue. Um blueprint fornece uma estrutura que ajuda você a começar a usar casos de uso reutilizáveis. Por exemplo, isso pode ser um fluxo de trabalho para importar dados do Amazon S3 para uma tabela do DynamoDB. Você pode até mesmo usar parâmetros para tornar o blueprint reutilizável.

Se o pipeline de dados envolver mais serviços fora do AWS Glue, recomendamos que você use o AWS Step Functions como orquestrador. O Step Functions pode criar fluxos de trabalho automatizados, incluindo etapas de aprovação manual para resposta a incidentes de segurança. Você também pode usar Step Functions para processamento paralelo ou sequencial em grande escala.

Por fim, recomendamos usar EventBridgepara inserir gatilhos em programações, eventos ou sob demanda. Você também pode usar EventBridge para criar pipelines com filtros.

Controle de acesso

Recomendamos que você use o AWS Identity and Access Management (IAM) para controle de acesso. O IAM permite que você especifique quem ou o que pode acessar serviços e recursos na AWS e gerenciar centralmente permissões refinadas. Cada fase do ciclo de vida, do armazenamento à automação e ao uso de ferramentas de processamento, exige as permissões de acesso corretas. Ao trabalhar com casos de uso centrados em dados, você pode usar o AWS Lake Formation para simplificar o processo de disponibilização de dados para análises abrangentes e também para várias contas.