Usar o Lambda com o Apache Kafka

O Lambda suportaApache Kafkacomo umOrigem do evento. O Apache Kafka é uma plataforma de streaming de eventos de código aberto, desenvolvida para processar pipelines de dados e aplicações de streaming de alto throughput em tempo real. Há duas maneiras principais de usar o Lambda com o Apache Kafka:

• Usar o Lambda com o Amazon MSK: o Amazon Managed Streaming for Apache Kafka (Amazon MSK) é um serviço totalmente gerenciado pela AWS. O Amazon MSK ajuda a automatizar o gerenciamento da infraestrutura do Kafka, incluindo provisionamento, aplicação de patches e escalação.

• Usar o Lambda com o Apache Kafka autogerenciado: na terminologia da AWS, um cluster autogerenciado inclui os clusters do Kafka não hospedados pela AWS. Por exemplo, ainda é possível usar o Lambda com um cluster do Kafka hospedado em um provedor de nuvem que não seja a AWS, como o Confluent Cloud ou o Redpanda.

Ao decidir entre o Amazon MSK e o Apache Kafka autogerenciado, considere as necessidades operacionais e os requisitos de controle. O Amazon MSK será a melhor opção se quiser que a AWS ajude você a gerenciar rapidamente uma configuração do Kafka escalável e pronta para produção com o mínimo de sobrecarga operacional. Ele simplifica a segurança, o monitoramento e a alta disponibilidade, ajudando você a se concentrar no desenvolvimento de aplicações, e não no gerenciamento da infraestrutura. Por outro lado, o Apache Kafka autogerenciado é mais adequado para casos de uso executados em ambientes não hospedados pela AWS, incluindo clusters on-premises.

Tópicos

• Usar o Lambda com o Amazon MSK

• Usar o Lambda com o Apache Kafka autogerenciado

• Modos de escalabilidade de sondagem de eventos do Apache Kafka no Lambda

• ID de grupo de consumidores personalizável no Lambda

• Posições iniciais de sondagem e fluxo do Apache Kafka no Lambda

• Capturar lotes descartados para uma origem do evento do Amazon MSK e do Apache Kafka autogerenciado

• Filtrar as origens dos eventos do Amazon MSK e do Apache Kafka autogerenciado

• Usar registros de esquema com origens de eventos do Kafka no Lambda

• Processamento de baixa latência para fontes de eventos do Kafka

• Solução de problemas de erros do mapeamento da origem do evento do Kafka