Uso di Lambda con Amazon MSK

Amazon Managed Streaming for Apache Kafka (Amazon MSK) è un servizio completamente gestito che puoi utilizzare per creare ed eseguire applicazioni che utilizzano Apache Kafka per elaborare dati di streaming. Amazon MSK semplifica la configurazione, la scalabilità e la gestione dei cluster Kafka. Amazon MSK semplifica inoltre la configurazione dell'applicazione per più zone di disponibilità e per la sicurezza con AWS Identity and Access Management (IAM).

Questo capitolo spiega come utilizzare un cluster Amazon MSK come origine di eventi per la tua funzione di eventi Lambda. Il processo generale per l'integrazione di Amazon MSK con Lambda prevede i seguenti passaggi:

1. Configurazione del cluster e della rete: per prima cosa, configura il tuo cluster Amazon MSK. Ciò include la configurazione di rete corretta per consentire a Lambda di accedere al cluster.

2. Configurazione della mappatura delle sorgenti degli eventi: crea quindi la risorsa di mappatura delle sorgenti degli eventi di cui Lambda ha bisogno per connettere in modo sicuro il tuo cluster Amazon MSK alla tua funzione.

3. Configurazione della funzione dell'evento e delle autorizzazioni: infine, assicurati che la funzione sia configurata correttamente e disponga delle autorizzazioni necessarie nel suo ruolo di esecuzione.

Nota

Ora puoi creare e gestire le mappature delle sorgenti degli eventi Amazon MSK direttamente dalla console Lambda o Amazon MSK. Entrambe le console offrono la possibilità di gestire automaticamente la configurazione delle autorizzazioni necessarie per il ruolo di esecuzione Lambda per un processo di configurazione più semplificato.

Per esempi su come configurare un'integrazione Lambda con un cluster Amazon MSK, consulta Tutorial: utilizzo di una mappatura delle sorgenti di eventi Amazon MSK per richiamare una funzione di evento Lambda Utilizzo di Amazon MSK come origine di eventi per AWS Lambda sul AWS Compute Blog e Integrazione di Amazon MSK Lambda negli Amazon MSK Labs.

Argomenti

• Esempio di evento

• Configurazione del cluster Amazon MSK e della rete Amazon VPC per Lambda

• Configurazione delle autorizzazioni Lambda per le mappature delle sorgenti degli eventi Amazon MSK

• Configurazione delle origini eventi di Amazon MSK per Lambda

• Tutorial: utilizzo di una mappatura delle sorgenti di eventi Amazon MSK per richiamare una funzione di evento Lambda

Esempio di evento

Lambda invia il batch di messaggi nel parametro dell'evento quando richiama la funzione evento. Il payload evento contiene un array di messaggi. Ogni elemento dell'array contiene i dettagli dell'argomento e dell'identificatore dello shard Amazon MSK, insieme a una data/ora e a un messaggio con codifica base64.

{
   "eventSource":"aws:kafka",
   "eventSourceArn":"arn:aws:kafka:us-east-1:123456789012:cluster/vpc-2priv-2pub/751d2973-a626-431c-9d4e-d7975eb44dd7-2",
   "bootstrapServers":"b-2.demo-cluster-1.a1bcde.c1.kafka.us-east-1.amazonaws.com:9092,b-1.demo-cluster-1.a1bcde.c1.kafka.us-east-1.amazonaws.com:9092",
   "records":{
      "mytopic-0":[
         {
            "topic":"mytopic",
            "partition":0,
            "offset":15,
            "timestamp":1545084650987,
            "timestampType":"CREATE_TIME",
            "key":"abcDEFghiJKLmnoPQRstuVWXyz1234==",
            "value":"SGVsbG8sIHRoaXMgaXMgYSB0ZXN0Lg==",
            "headers":[
               {
                  "headerKey":[
                     104,
                     101,
                     97,
                     100,
                     101,
                     114,
                     86,
                     97,
                     108,
                     117,
                     101
                  ]
               }
            ]
         }
      ]
   }
}