As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
nota
O Firehose oferece suporte ao banco de dados como fonte em todas as regiões AWS GovCloud (US) Regions, exceto Regiões da AWSChina e Ásia-Pacífico (Malásia). Esse recurso está em versão prévia e está sujeito a alterações. Não o use para suas cargas de trabalho de produção.
As organizações usam bancos de dados relacionais para armazenar e recuperar dados transacionais que são otimizados para interagir rapidamente com uma ou algumas linhas de dados por vez. Eles não são otimizados para consultar grandes conjuntos de dados agregados. As organizações transferem dados transacionais de bancos de dados relacionais para armazenamentos de dados analíticos, como lagos de dados, data warehouses e outras ferramentas para casos de uso de análise e aprendizado de máquina. Para manter os armazenamentos de dados analíticos sincronizados com bancos de dados relacionais, é usado um padrão de design chamado captura de dados de alteração (CDC) que permite capturar todas as alterações nos bancos de dados em tempo real. Quando os dados são alterados por meio de INSERT, UPDATE ou DELETE em um banco de dados de origem, essas alterações do CDC devem ser transmitidas continuamente sem afetar o desempenho dos bancos de dados.
O Firehose fornece uma easy-to-use end-to-end solução simples para replicar alterações dos bancos de dados MySQL e PostgreSQL em tabelas Apache Iceberg. Com esse recurso, o Firehose permite selecionar bancos de dados, tabelas e colunas específicos que você deseja que o Firehose capture em eventos do CDC. Se você ainda não tem Iceberg Tables, você pode optar pelo Firehose para criar Iceberg Tables. O Firehose cria bancos de dados e tabelas usando o mesmo esquema das tabelas do seu banco de dados relacional. Depois que o stream é criado, o Firehose faz uma cópia inicial dos dados nas tabelas e grava no Apache Iceberg Tables. Quando a cópia inicial é concluída, o Firehose inicia a captura contínua das alterações do CDC em tempo real em seus bancos de dados e as replica nas tabelas Apache Iceberg. Se você optar pela evolução do esquema, o Firehose evolui o esquema do Iceberg Table com base nas alterações do esquema nos bancos de dados relacionais.
O Firehose também pode replicar alterações dos bancos de dados MySQL e PostgreSQL para tabelas do Amazon S3. As tabelas do Amazon S3 fornecem armazenamento otimizado para cargas de trabalho de análise em grande escala, com recursos que melhoram continuamente o desempenho das consultas e reduzem os custos de armazenamento de dados tabulares. Com suporte integrado para o Apache Iceberg, você pode consultar dados tabulares no Amazon S3 com mecanismos de consulta populares, incluindo Amazon Athena, Amazon Redshift e Apache Spark. Para obter mais informações sobre as tabelas do Amazon S3, consulte Tabelas do Amazon S3. A integração do Firehose com o Amazon S3 Tables está em pré-visualização nas regiões Leste dos EUA (Ohio), Leste dos EUA (Norte da Virgínia) e Oeste dos EUA (Oregon). Não o use para suas cargas de trabalho de produção.
Para tabelas do Amazon S3, o Firehose não suporta a criação automática de tabelas. Você deve criar tabelas do S3 antes de criar um stream do Firehose.
