Integrações ETL zero - Amazon Redshift

Integrações ETL zero

Este tópico inclui a documentação de pré-lançamento referente a Integrações ETL zero do Aurora PostgreSQL com o Amazon Redshift, que estão na versão de visualização previa. A documentação e os recursos estão sujeitos a alterações. Só é recomendável usar Integrações ETL zero do Aurora PostgreSQL em ambientes de teste, e não em ambientes de produção. Para conferir os termos e condições da pré-visualização, consulte Betas e pré-visualizações nos Termos de serviços da AWS.

A Integração ETL zero é uma solução totalmente gerenciada que disponibiliza dados transacionais ou operacionais no Amazon Redshift quase em tempo real. Com essa solução, é possível configurar uma integração da fonte com um data warehouse do Amazon Redshift. Você não precisa manter um pipeline de extração, transformação e carregamento (ETL). Cuidamos do ETL para você automatizando a criação e o gerenciamento da replicação de dados da fonte de dados para o cluster do Amazon Redshift ou o namespace do Redshift Serverless. É possível continuar atualizando e consultando os dados de origem e, ao mesmo tempo, usar o Amazon Redshift em workloads analíticos, como relatórios e painéis.

Com a integração ETL zero, você tem dados mais atualizados para analytics, IA/ML e relatórios. Você recebe insights mais precisos e oportunos para casos de uso, como painéis em tempo real, experiência de jogo otimizada, monitoramento da qualidade de dados e análise do comportamento do cliente. É possível fazer previsões baseadas em dados com maior confiança, melhorar as experiências dos clientes e promover insights orientados por dados em toda a empresa.

As seguintes origens são atualmente compatíveis com integrações ETL zero:

  • Aurora MySQL-Compatible Edition

  • Aurora PostgreSQL-Compatible Edition (visualização)

  • RDS para MySQL

Para criar uma integração ETL zero, você especifica uma origem de integração e um data warehouse do Amazon Redshift como o destino. A integração replica dados do data warehouse de origem para o data warehouse de destino. Os dados permanecem disponíveis no Amazon Redshift em questão de segundos. A integração monitora a integridade do pipeline de dados e se recupera de problemas quando possível. É possível criar integrações de fontes do mesmo tipo em um único data warehouse do Amazon Redshift para derivar insights holísticos em várias aplicações.

Com os dados no Amazon Redshift, é possível usar a análise fornecida pelo Amazon Redshift. Por exemplo, machine learning (ML) integrado, visões materializadas, compartilhamento de dados e acesso direto a vários armazenamentos de dados e data lakes. Como uma integração ETL zero mantém os recursos de computação isolados dos recursos de dados, você está usando as ferramentas mais eficientes para processar dados. Para engenheiros de dados, a Integração ETL zero dá acesso a dados urgentes que, do contrário, podem ser atrasados por erros intermitentes em pipelines de dados complexos. É possível executar consultas analíticas e modelos ML em dados transacionais para obter insights quase em tempo real de eventos urgentes e decisões comerciais.

É possível criar uma assinatura de notificação de evento do Amazon Redshift, de maneira que você receba uma notificação quando um evento ocorre para uma determinada integração ETL zero. Para exibir a lista de notificações de eventos relacionadas à integração, consulte Notificações de evento da integração ETL zero com o Amazon EventBridge. A maneira mais simples de criar uma assinatura é com o console do Amazon SNS. Para obter informações sobre como criar um tópico do Amazon SNS e assiná-lo, consulte Getting started with Amazon SNS no Guia do desenvolvedor do Amazon Simple Notification Service.

Ao começar a usar integrações ETL zero, considere os seguintes conceitos:

  • Um banco de dados de origem é o banco de dados no qual os dados são replicados para o Amazon Redshift.

  • Um data warehouse de destino é o cluster provisionado do Amazon Redshift ou o grupo de trabalho do Redshift Serverless no qual os dados são replicados.

  • Um banco de dados de destino é o banco de dados criado por você a partir de uma integração ETL zero no data warehouse de destino.

Consulte informações sobre tabelas e visualizações do sistema que você pode usar para monitorar integrações ETL zero em Monitorar integrações ETL zero com visualizações do sistema do Amazon Redshift.

Para obter informações sobre preços de integrações ETL zero, consulte a página de preços indicada:

Para obter mais informações sobre origens de integração ETL zero, consulte os seguintes tópicos:

Tópicos