Configurar origens de eventos do Apache Kafka autogerenciado para o Lambda
Para usar um cluster do Apache Kafka autogerenciado como origem de eventos para a função do Lambda, você deve criar um mapeamento da origem do evento que conecta os dois recursos. Esta página descreve como criar um mapeamento da origem do evento para o Apache Kafka autogerenciado.
Esta página pressupõe que você já configurou adequadamente o cluster do Kafka e em que ele reside. Se você precisar configurar seu cluster ou sua rede, consulte Configurar o cluster do Apache Kafka autogerenciado e a rede do Lambda.
Tópicos
Como usar um cluster do Apache Kafka autogerenciado como uma origem do evento
Quando você adiciona seu cluster do Apache Kafka ou do Amazon MSK como um gatilho para a função do Lambda, o cluster é usado como uma origem de eventos.
O Lambda lê os dados de eventos dos tópicos do Kafka que você especifica como Topics em uma solicitação de CreateEventSourceMapping com base na posição inicial especificada. Após o processamento bem-sucedido, seu tópico do Kafka é confirmado no cluster do Kafka.
O Lambda lê as mensagens sequencialmente para cada partição de tópico do Kafka. Uma única carga do Lambda pode conter mensagens de várias partições. Quando mais registros ficam disponíveis, o Lambda continua processando os registros em lotes, com base no valor de BatchSize especificado na solicitação de CreateEventSourceMapping, até a função estar atualizada com o tópico.
Depois que o Lambda processa cada lote, ele confirma os deslocamentos das mensagens nesse lote. Se sua função retorna um erro para qualquer uma das mensagens em um lote, o Lambda tenta novamente todo o lote de mensagens até que o processamento seja bem-sucedido ou as mensagens expiram. É possível enviar registros que apresentaram falha em todas as tentativas a um destino em caso de falha para processamento posterior.
nota
Embora as funções do Lambda normalmente tenham um limite máximo de tempo de 15 minutos, os mapeamentos da origem dos eventos para o Amazon MSK, o Apache Kafka autogerenciado, o Amazon DocumentDB e o Amazon MQ para ActiveMQ e RabbitMQ são compatíveis somente com funções com limites máximos de tempo limite de 14 minutos.
