As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
entrega de dados para buckets de uso geral do Amazon S3
Com o Amazon MSK Data Delivery, você pode entregar dados do Apache Kafka no formato de origem para buckets de uso geral do Amazon S3 para processamento posterior, com confiabilidade de ponta a ponta para cargas de trabalho de missão crítica. Use-o para colocar dados do Kafka no Amazon S3 para casos de uso como arquivamento de registros, retenção de conformidade, repetição do Kafka e modelos de treinamento. AI/ML Essa abordagem elimina a necessidade de criar pipelines de conectores autogerenciados que se tornam caros e operacionalmente complexos à medida que as cargas de trabalho aumentam.
Tópicos
Integrações
Corretores Amazon MSK Express — a fonte de dados.
Amazon S3 — destino de objetos de uso geral.
Amazon CloudWatch — métricas e registros operacionais.
AWS CloudTrail— Registro de auditoria de API.
AWS KMS— criptografia opcional gerenciada pelo cliente em repouso.
Casos de uso comuns
Arquive dados de tópicos do Kafka no S3 para armazenamento, reprodução ou processamento em lote posterior.
Distribua um único tópico para vários destinos sem aumentar a carga do corretor.
Para a especificação da API, consulte CreateChannelDescribeChannel,UpdateChannel,DeleteChannel, e ListChannels na Referência de API do Amazon MSK.
Fluxo de dados
O diagrama a seguir mostra como os registros fluem de um tópico do agente Amazon MSK Express por meio de um canal de entrega de dados até seu destino, com registros não processáveis encaminhados para uma fila de cartas mortas.
Benefícios
Sem infraestrutura para gerenciar — sem conectores ou clusters de computação. Você configura um canal e o serviço lida com a entrega, o dimensionamento e a tolerância a falhas.
Sem impacto no corretor — um canal lê o tópico sem consumir a produtividade do corretor ou afetar as cargas de trabalho do produtor e do consumidor.
Dimensiona com seus dados — suporta uma taxa de transferência de entrega de dados de até 10 GBps sem a necessidade de escalabilidade manual.
Atualização dos dados em minutos — Os dados entregues estão disponíveis para consulta ou processamento dentro de 5 a 15 minutos após serem produzidos no tópico.
Built-in tratamento de erros — os registros não processáveis são encaminhados para uma fila de mensagens mortas com contexto de erro, de modo que a entrega continua ininterrupta.
Como funciona
Para entregar dados a um bucket S3 de uso geral, você cria um canal. Você cria um canal em um cluster provisionado pelo Amazon MSK que usa corretores expressos. O Canal lê registros de um tópico do Kafka e os entrega ao destino configurado.
Para buckets de uso geral do Amazon S3, o Channel grava registros (JSON ou String) como objetos em um bucket S3 de uso geral, usando um modelo de chave de saída configurável. ByteArray
Os registros que não podem ser processados são roteados para um bucket S3 obrigatório da fila de cartas mortas (DLQ).
nota
Um canal não preenche dados produzidos anteriormente — somente os dados produzidos após a ativação são entregues.
Requisitos e configurações suportadas
Um cluster provisionado pelo Amazon MSK com corretores Express. Os corretores padrão e o Amazon MSK Serverless não são suportados.
Pelo menos um tópico sobre Kafka.
Um bucket do Amazon S3 para a fila de cartas mortas (DLQ). Isso é obrigatório.
Uma função de serviço do IAM que o Canal assume para fornecer dados.
Atualização de dados configurada entre 5 e 15 minutos.
Dados do tópico no formato JSON ou String. ByteArray
Um bucket Amazon S3 de uso geral para entrega.
