Configurazione delle origini eventi di Amazon MSK per Lambda

Per utilizzare un cluster Amazon MSK come origine di eventi per la tua funzione Lambda, crei una mappatura delle sorgenti di eventi che collega le due risorse. Questa pagina descrive come creare una mappatura delle sorgenti degli eventi per Amazon MSK.

Questa pagina presuppone che tu abbia già configurato correttamente il tuo cluster MSK e l'Amazon Virtual Private Cloud (VPC) in cui risiede. Se è necessario configurare il cluster o il VPC, vedere. Configurazione del cluster Amazon MSK e della rete Amazon VPC per Lambda

Argomenti

• Utilizzo di un cluster Amazon MSK come origine eventi

• Creazione di una mappatura della sorgente di eventi Lambda per un'origine di eventi Amazon MSK

• Configurazione dei metodi di autenticazione del cluster in Lambda

• ID del gruppo di consumatori personalizzabile in Lambda

• Posizioni di partenza dei sondaggi e dello streaming in Lambda

• Modalità di ridimensionamento del poller di eventi in Lambda

• Creazione di mappature delle sorgenti degli eventi tra account in Lambda

• Tutti i parametri di configurazione dell'origine degli eventi Amazon MSK in Lambda

Utilizzo di un cluster Amazon MSK come origine eventi

Quando aggiungi il cluster Apache Kafka o Amazon MSK come trigger per la funzione Lambda, il cluster viene utilizzato come origine eventi.

Lambda legge i dati degli eventi dagli argomenti di Kafka specificati Topics in una CreateEventSourceMappingrichiesta, in base alla posizione iniziale specificata. Dopo che l'elaborazione è avvenuta con successo, l'argomento Kafka viene salvato nel cluster Kafka.

Lambda legge i messaggi in sequenza per ogni partizione dell'argomento Kafka. Un singolo payload Lambda può contenere messaggi provenienti da più partizioni. Quando sono disponibili più record, Lambda continua a elaborare i record in batch, in base al BatchSize valore specificato in una CreateEventSourceMappingrichiesta, finché la funzione non raggiunge l'argomento.

Dopo che Lambda ha elaborato ogni batch, esegue il commit degli offset dei messaggi in quel batch. Se la funzione restituisce un errore per uno qualsiasi dei messaggi di un batch, Lambda ritenta l'intero batch di messaggi fino a quando l'elaborazione non riesce o i messaggi scadono. È possibile inviare i record per i quali tutti i nuovi tentativi falliscono a una destinazione in errore per un'elaborazione successiva.

Nota

Anche se le funzioni Lambda generalmente prevedono un timeout massimo di 15 minuti, gli strumenti di mappatura dell'origine degli eventi per Amazon MSK, Apache Kafka autogestito, Amazon DocumentDB e Amazon MQ per ActiveMQ e RabbitMQ supportano solo funzioni con timeout massimi di 14 minuti.