Registrazione della mappatura delle sorgenti degli eventi Kafka

È possibile configurare la registrazione a livello di sistema per le mappature delle sorgenti di eventi Kafka per abilitare e filtrare i log di sistema a cui inviano i poller di eventi Lambda. CloudWatch

Questa funzionalità è disponibile solo per le mappature delle sorgenti di eventi Kafka e con la modalità Provisioned. https://docs.aws.amazon.com/lambda/latest/dg/kafka-scaling-modes.html#kafka-provisioned-mode

Per la mappatura delle sorgenti degli eventi con configurazione di registrazione, puoi anche controllare i log di sistema provenienti da query di registro predefinite nella scheda Monitor dalla pagina Console Lambda > Risorse aggiuntive > mappature delle sorgenti di eventi ora.

Come funziona la registrazione

Quando imposti la configurazione di registrazione con il livello di log nella mappatura della sorgente degli eventi, il poller di eventi Lambda invia i log corrispondenti (registri del sistema di mappatura delle sorgenti degli eventi).

La mappatura dell'origine degli eventi riutilizza la stessa destinazione del registro con la funzione Lambda. https://docs.aws.amazon.com/lambda/latest/dg/monitoring-logs.html#configuring-log-destinations Assicurati che il ruolo di esecuzione della tua funzione Lambda disponga delle autorizzazioni di registrazione necessarie.

La mappatura dell'origine degli eventi avrà un proprio flusso di log, con l'UUID di mappatura della data e dell'origine dell'evento come nome del flusso di log, ad esempio. 2020/01/01/12345678-1234-1234-1234-12345678901

Per i registri del sistema di mappatura delle sorgenti degli eventi, puoi scegliere tra i seguenti livelli di registro.

Livello di log	Utilizzo
DEBUG (dettaglio massimo)	Informazioni dettagliate sull'avanzamento dell'elaborazione dell'origine dell'evento
INFO	Messaggi sul normale funzionamento della mappatura della sorgente dell'evento
WARN (dettaglio minimo)	Messaggi su potenziali avvisi ed errori che potrebbero portare a comportamenti imprevisti

Quando si seleziona un livello di registro, Lambda event poller invia i log a tale livello e a un livello inferiore. Ad esempio, se imposti il livello di log del sistema di mappatura delle sorgenti degli eventi su INFO, event poller non invia gli output del log a livello DEBUG.

Configurazione della registrazione

È possibile impostare la configurazione di registrazione durante la creazione o l'aggiornamento di una mappatura della sorgente di eventi Kafka.

Configurazione della registrazione (console)

Per configurare la registrazione (console)

1. Aprire la pagina Funzioni della console Lambda.

2. Scegli il nome della tua funzione.

3. Esegui una delle seguenti operazioni:

   • Per aggiungere un nuovo trigger Kafka, in Panoramica delle funzioni, scegli Aggiungi trigger.

   • Per modificare un trigger Kafka esistente, scegli il trigger e quindi scegli Modifica.

4. In Event poller configuration, per la modalità Provisioned, abilita la casella di controllo Configura. E verrebbe visualizzata l'impostazione del livello di registro.

5. Scegli l'elenco a discesa Livello di registro e seleziona un livello per la mappatura della sorgente dell'evento.

6. Scegli Aggiungi o Salva in basso per creare o aggiornare la mappatura della sorgente dell'evento.

Configurazione della registrazione (AWS CLI)

Creazione di una mappatura della sorgente di eventi con registrazione

L'esempio seguente crea una mappatura della sorgente di eventi Amazon MSK con configurazione di registrazione:

aws lambda create-event-source-mapping \
  --function-name my-kafka-function \
  --topics AWSKafkaTopic \
  --event-source-arn arn:aws:kafka:us-east-1:123456789012:cluster/my-cluster/abc123 \
  --starting-position LATEST \
  --provisioned-poller-config MinimumPollers=1,MaximumPollers=3 \
  --logging-config '{"SystemLogLevel":"DEBUG"}'

Per Kafka autogestito, utilizza la stessa sintassi:

aws lambda create-event-source-mapping \
  --function-name my-kafka-function \
  --topics AWSKafkaTopic \
  --self-managed-event-source '{"Endpoints":{"KAFKA_BOOTSTRAP_SERVERS":["abc.xyz.com:9092"]}}' \
  --starting-position LATEST \
  --provisioned-poller-config MinimumPollers=1,MaximumPollers=3 \
  --logging-config '{"SystemLogLevel":"DEBUG"}'

Aggiornamento della configurazione di registrazione

Usa il update-event-source-mapping comando per aggiungere o modificare la configurazione di registrazione:

aws lambda update-event-source-mapping \
  --uuid 12345678-1234-1234-1234-123456789012 \
  --logging-config '{"SystemLogLevel":"WARN"}'

Formato di registrazione per un registro del sistema di mappatura delle sorgenti di eventi di Kafka

Quando il poller di eventi Lambda invia il registro, ogni voce di registro contiene metadati generali di mappatura della sorgente degli eventi e anche contenuti specifici dell'evento.

WARN (record del registro)

Il record WARN contiene errori o avvisi provenienti dal poller degli eventi e viene emesso quando si è verificato l'evento. Ad esempio:

{
    "eventType": "ESM_PROCESSING_EVENT",
    "timestamp": 1546347650000,
    "resourceArn": "arn:aws:lambda:us-east-1:123456789012:event-source-mapping:12345678-1234-1234-1234-123456789012",
    "eventSourceArn": "arn:aws:kafka:us-east-1:123456789012:cluster/tests-cluster/87654321-4321-4321-4321-876543221-s1",
    "eventProcessorId": "12345678-1234-1234-1234-123456789012/0",
    "logLevel": "WARN",
    "error": {
        "errorMessage": "Timeout expired while fetching topic metadata",
        "errorCode": "org.apache.kafka.common.errors.TimeoutException"
    }
}

Record del registro INFO

Il record INFO contiene le configurazioni del client consumer Kafka in ogni poller di eventi e viene emesso nel caso in cui un consumatore venga creato o modificato. Ad esempio:

{
    "eventType": "POLLER_STATUS_EVENT",
    "timestamp": 1546347660000,
    "resourceArn": "arn:aws:lambda:us-east-1:123456789012:event-source-mapping:12345678-1234-1234-1234-123456789012",
    "eventSourceArn": "arn:aws:kafka:us-east-1:123456789012:cluster/tests-cluster/87654321-4321-4321-4321-876543221-s1",
    "eventProcessorId": "12345678-1234-1234-1234-123456789012/0",
    "logLevel": "INFO",
    "kafkaEventSourceConnection": {
        "brokerEndpoints": "boot-abcd1234.c2.kafka-serverless.us-east-1.amazonaws.com:9098",
        "consumerId": "12345678-1234-1234-1234-123456789012-0",
        "topics": [
            "test"
        ],
        "consumerGroupId": "12345678-1234-1234-1234-123456789012",
        "securityProtocol": "SASL_SSL",
        "saslMechanism": "AWS_MSK_IAM",
        "totalPartitionCount": 2,
        "assignedPartitionCount": 2,
        "partitionsAssignmentGeneration": 5,
        "assignedPartitions": [
            "test-0",
            "test-1"
        ],
        "networkConfig": {
            "ipAddresses": [
                "10.100.141.1"
            ],
            "subnetCidrBlock": "10.100.128.0/20",
            "securityGroups": [
                "sg-abcdefabcdefabcdef"
            ]
        }
    }
}

Record di registro DEBUG

Il registro DEBUG contiene le informazioni relative agli offset di Kafka nell'elaborazione della mappatura della sorgente degli eventi e le informazioni sugli offset vengono emesse al minuto. Ad esempio:

{
    "eventType": "KAFKA_STATUS_EVENT",
    "timestamp": 1546347670000,
    "resourceArn": "arn:aws:lambda:us-east-1:123456789012:event-source-mapping:12345678-1234-1234-1234-123456789012",
    "eventSourceArn": "arn:aws:kafka:us-east-1:123456789012:cluster/tests-cluster/87654321-4321-4321-4321-876543221-s1",
    "eventProcessorId": "12345678-1234-1234-1234-123456789012/0",
    "logLevel": "DEBUG",
    "kafkaPartitionOffsets": {
        "partition": "test-1",
        "endOffset": 5004,
        "consumedOffset": 5003,
        "processedOffset": 5003,
        "committedOffset": 5004
    }
}