Trabalhar com integrações ETL zero do Amazon RDS com o Amazon Redshift (pré-visualização)

Esta é a documentação de pré-lançamento das Integrações ETL zero do Amazon RDS com o Amazon Redshift, que está em versão de pré-visualização. A documentação e o atributo estão sujeitos a alterações. Recomendamos o uso desse atributo somente em ambientes de teste, e não em ambientes de produção. Para conferir os termos e condições da pré-visualização, consulte Betas e pré-visualizações nos Termos de serviços da AWS.

Uma integração ETL zero do Amazon RDS com o Amazon Redshift permite análise e machine learning (ML) quase em tempo real usando o Amazon Redshift em petabytes de dados transacionais do RDS. É uma solução totalmente gerenciada para disponibilizar dados transacionais no Amazon Redshift depois de gravados em um banco dados do RDS. Extração, transformação e carregamento (ETL) é o processo de combinar dados de várias fontes em um grande data warehouse central.

Uma integração ETL zero torna os dados no banco de dados do RDS disponíveis no Amazon Redshift quase em tempo real. Quando esses dados estiverem no Amazon Redshift, você poderá potencializar suas workloads de análise, ML e IA usando os recursos integrados do Amazon Redshift, como machine learning, visões materializadas, compartilhamento de dados, acesso federado a vários datastores e data lakes e integrações com Amazon SageMaker, Amazon QuickSight e outros Serviços da AWS.

Para criar uma Integração ETL zero, especifique um banco de dados do Aurora RDScomo a origem e um data warehouse do Amazon Redshift como destino. A integração replica os dados do banco de dados de origem no data warehouse de destino.

O diagrama a seguir ilustra essa funcionalidade:

A integração monitora a integridade do pipeline de dados e se recupera de problemas quando possível. É possível criar integrações de vários bancos de dados do RDS em um único namespace do Amazon Redshift, o que permite que você obtenha insights em várias aplicações.

Tópicos

• Benefícios
• Principais conceitos
• Limitações da versão prévia
• Cotas
• Regiões compatíveis
• Conceitos básicos das integrações ETL zero do Amazon RDS com o Amazon Redshift
• Criar integrações ETL zero do Amazon Aurora com o Amazon Redshift
• Adicionar dados a um banco de dados do RDS de origem e consultá-los no Amazon Redshift
• Visualizar e monitorar integrações ETL zero do Amazon RDS com o Amazon Redshift
• Excluir integrações ETL zero do Amazon RDS com o Amazon Redshift
• Solução de problemas em integrações ETL zero do Amazon RDS com o Amazon Redshift

Benefícios

As integrações ETL zero do RDS com o Amazon Redshift apresentam os seguintes benefícios:

• Ajudam você a obter insights holísticos de várias fontes de dados.

• Eliminam a necessidade de criar e manter canais de dados complexos que executam operações de extração, transformação e carregamento (ETL). As integrações ETL zero eliminam os desafios que surgem com a criação e o gerenciamento de pipelines, provisionando-os e gerenciando-os para você.

• Reduzem a carga e os custos operacionais para que você possa se concentrar em melhorar as aplicações.

• Permitem que você aproveite os recursos de análise e ML do Amazon Redshift para obter insights de dados transacionais e outros dados, a fim de responder de forma eficaz a eventos críticos e urgentes.

Principais conceitos

Ao começar a usar integrações ETL zero, considere os seguintes conceitos:

Integração

Um pipeline de dados totalmente gerenciado que replica automaticamente dados e esquemas transacionais de um banco de dados do RDS em um data warehouse do Amazon Redshift.

Banco de dados de origem

O banco de dados do RDS do qual os dados são replicados. É possível especificar uma instância de banco de dados single-AZ ou multi-AZ.

Data warehouse de destino

O data warehouse do Amazon Redshift para o qual os dados são replicados. Há dois tipos de data warehouse: um data warehouse de cluster provisionado e um data warehouse sem servidor. Um data warehouse de cluster provisionado é um conjunto de recursos computacionais chamados nós, que são organizados em um grupo chamado cluster. Um data warehouse sem servidor é composto por um grupo de trabalho que armazena recursos computacionais e um namespace que abriga os objetos e usuários do banco de dados. Ambos os data warehouses executam um mecanismo do Amazon Redshift e contêm um ou mais bancos de dados.

Vários bancos de dados de origem podem gravar no mesmo destino.

Para obter mais informações, consulte Arquitetura do sistema de data warehouse no Guia do desenvolvedor do Amazon Redshift.

Limitações da versão prévia

As limitações a seguir se aplicam às Integrações ETL zero do RDS com o Amazon Redshift.

Limitações gerais

• O banco de dados de origem deve estar na mesma região do data warehouse do Amazon Redshift de destino.

• Não será possível renomear um banco de dados se o cluster tiver integrações existentes.

• Você não pode excluir um banco de dados que tenha integrações existentes. É necessário excluir todas as integrações correspondentes primeiro.

• Se você interromper o banco de dados de origem, as últimas transações provavelmente não serão replicadas no data warehouse de destino enquanto você não retomar o banco de dados.

• Você não poderá excluir uma integração se o banco de dados de origem for interrompido.

• O Amazon RDS é compatível somente com implantações de instâncias de banco de dados single-AZ e multi-AZ como origens de integração. No momento, não é compatível com clusters de banco de dados multi-AZ.

• No momento, as integrações ETL zero não são compatíveis com a filtragem de dados.

• Se o banco de dados for a origem de uma implantação azul/verde, os ambientes azul e verde não poderão ter integrações ETL zero existentes durante a transição. Você deve excluir a integração primeiro, alternar e, depois, recriá-la.

• Não é possível criar uma integração para um banco de dados de origem que tenha outra integração sendo criada ativamente.

• Quando você cria inicialmente uma integração ou quando uma tabela está sendo ressincronizada, a propagação de dados da origem para o destino pode levar de 20 a 25 minutos ou mais, dependendo do tamanho do banco de dados de origem. Esse atraso pode levar a um maior atraso na réplica.

• Alguns tipos de dados não compatíveis. Para ter mais informações, consulte Diferenças de tipos de dados entre os bancos de dados RDS e Amazon Redshift.

• Referências de chave externa com atualizações de tabelas predefinidas não são compatíveis. Especificamente, as regras ON DELETE e ON UPDATE não são compatíveis com as ações CASCADE, SET NULL e SET DEFAULT. A tentativa de criar ou atualizar uma tabela com essas referências a outra tabela colocará a tabela em um estado de falha.

• Operações de partição ALTER TABLE fazem com que a tabela seja ressincronizada para recarregar dados do RDS no Amazon Redshift. A tabela não estará disponível para consulta durante a ressincronização. Para ter mais informações, consulte Uma ou mais das minhas tabelas do Amazon Redshift exigem ressincronização..

• Transações XA não são compatíveis.

• Os identificadores de objetos (incluindo nome do banco de dados, nome da tabela, nomes de colunas e outros) só podem conter caracteres alfanuméricos, números, $ e _ (sublinhado).

Limitações do RDS para MySQL

• O banco de dados de origem deve executar o RDS para MySQL versão 8.0.32 ou posterior.

• As integrações ETL zero dependem do registro em log binário (binlog) do MySQL para capturar alterações contínuas de dados. Não use a filtragem de dados baseada em log binário, pois isso pode causar inconsistências de dados entre os bancos de dados de origem e de destino.

• As tabelas do sistema, tabelas temporárias e visualizações do RDS para MySQL não são replicadas no Amazon Redshift.

• As integrações ETL zero são compatíveis apenas com bancos de dados configurados para usar o mecanismo de armazenamento InnoDB.

• Os clusters de banco de dados de origem não podem ser configurados com a Autoridade Certificadora (CA) rds-ca-ecc384-g1.

Limitações do Amazon Redshift

Para ter uma lista das limitações do Amazon Redshift relacionadas às integrações ETL zero, consulte Considerações no Guia de gerenciamento do Amazon Redshift.

Cotas

Sua conta tem as seguintes cotas relacionadas às integrações ETL zero do RDS com o Amazon Redshift. Salvo indicação em contrário, cada cota aplica-se por região.

Nome	Padrão	Descrição
Integrações	100	O número total de integrações em uma Conta da AWS.
Integrações por data warehouse de destino	50	O número de integrações que enviam dados para um único data warehouse de destino do Amazon Redshift.
de origem	1	O número de integrações que enviam dados de uma única instância de banco de dados de origem.

Além disso, o Amazon Redshift impõe certos limites ao número de tabelas permitidas em cada instância de banco de dados ou nó de cluster. Para obter mais informações, consulte “Cotas e limites no Amazon Redshift” no Guia de gerenciamento de clusters do Amazon Redshift.

Regiões compatíveis

As integrações ETL zero do RDS com o Amazon Redshift estão disponíveis em um subconjunto de Regiões da AWS. Para obter uma lista de regiões compatíveis, consulte Regiões e mecanismos de banco de dados compatíveis com integrações ETL zero com o Amazon Redshift.