As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Entrega de dados do Amazon MSK
Com a entrega de dados do Amazon MSK, você pode entregar dados do Apache Kafka dos corretores do Amazon MSK Express diretamente para o Amazon S3, sem conectores ou infraestrutura adicional para gerenciar. O Amazon MSK Express gerencia automaticamente a escalabilidade, as novas tentativas e a contrapressão, além de gerenciar operações de rotina, como escalabilidade de capacidade e atualizações de versão, sem introduzir lacunas na entrega. Como esses são recursos nativos do corretor, eles não adicionam nenhuma taxa de transferência de saída do corretor, portanto, você evita os custos incrementais de infraestrutura que a escalabilidade de pipelines baseados em conectores normalmente incorre e combina a capacidade com a demanda real da carga de trabalho, em vez de provisionar para o pico. Cada recurso suporta uma taxa de transferência de até 10 GBps.
Os dois recursos são:
Entrega de dados para tabelas de streaming para o Apache Iceberg — Com o Amazon MSK Data Delivery, você pode materializar continuamente os tópicos do Apache Kafka como tabelas do Apache Iceberg nas tabelas do Amazon S3. A compactação inteligente em linha elimina o impacto no desempenho de arquivos pequenos e mantém o desempenho da consulta previsível sem sacrificar a atualização dos dados. Built-in a coordenação resolve conflitos simultâneos de escritores entre consumidores de alto rendimento. O Amazon S3 Tables gerencia automaticamente a manutenção contínua da tabela, incluindo compactação, expiração do snapshot e limpeza de arquivos não referenciados.
Entrega de dados para buckets de uso geral do Amazon S3 — Com o Amazon MSK Data Delivery, você pode entregar dados do Apache Kafka no formato de origem para buckets de uso geral do Amazon S3 para processamento posterior, com confiabilidade de ponta a ponta para cargas de trabalho de missão crítica. Use-o para colocar dados do Kafka no Amazon S3 para casos de uso como arquivamento de registros, retenção de conformidade, repetição do Kafka e modelos de treinamento. AI/ML Essa abordagem elimina a necessidade de criar pipelines de conectores autogerenciados que se tornam caros e operacionalmente complexos à medida que as cargas de trabalho aumentam.
Tópicos
