Utilizzo del filtraggio degli eventi con una fonte di MSK eventi Amazon

Puoi utilizzare il filtraggio degli eventi per controllare quali record di un flusso o di una coda Lambda invia alla funzione. Per informazioni generali su come funziona il filtraggio degli eventi, consulta. Controlla quali eventi Lambda invia alla tua funzione

Questa sezione si concentra sul filtraggio degli eventi per le fonti di MSK eventi Amazon.

Nozioni di base sul filtraggio MSK degli eventi di Amazon

Supponiamo che un produttore stia scrivendo messaggi su un argomento nel tuo MSK cluster Amazon, in JSON formato valido o come stringhe semplici. Un record di esempio sarebbe simile al seguente, con il messaggio convertito in una stringa codificata Base64 nel campo value.

{
    "mytopic-0":[
        {
            "topic":"mytopic",
            "partition":0,
            "offset":15,
            "timestamp":1545084650987,
            "timestampType":"CREATE_TIME",
            "value":"SGVsbG8sIHRoaXMgaXMgYSB0ZXN0Lg==",
            "headers":[]
        }
    ]
}

Supponiamo che il produttore di Apache Kafka stia scrivendo messaggi sul tuo argomento nel seguente formato. JSON

{
    "device_ID": "AB1234",
    "session":{
        "start_time": "yyyy-mm-ddThh:mm:ss",
        "duration": 162
    }
}

Puoi utilizzare la chiave value per filtrare i record. Supponiamo di voler filtrare solo i record in cui device_ID inizia con le lettere AB. L'oggetto FilterCriteria dovrebbe avere la struttura seguente.

{
    "Filters": [
        {
            "Pattern": "{ \"value\" : { \"device_ID\" : [ { \"prefix\": \"AB\" } ] } }"
        }
    ]
}

Per maggiore chiarezza, ecco il valore del filtro espanso in chiaroPattern. JSON

{
    "value": {
        "device_ID": [ { "prefix": "AB" } ]
      }
}

Puoi aggiungere il filtro utilizzando la console AWS CLI o un AWS SAM modello.

Console

Per aggiungere questo filtro utilizzando la console, segui le istruzioni riportate in Collegamento dei criteri di filtro a una mappatura dell'origine evento (console) e inserisci la seguente stringa per i criteri di filtraggio.

{ "value" : { "device_ID" : [ { "prefix":  "AB" } ] } }

AWS CLI

Per creare una nuova mappatura dell'origine degli eventi con questi criteri di filtro utilizzando AWS Command Line Interface (AWS CLI), esegui il comando seguente.

aws lambda create-event-source-mapping \
    --function-name my-function \
    --event-source-arn arn:aws:kafka:us-east-2:123456789012:cluster/my-cluster/b-8ac7cc01-5898-482d-be2f-a6b596050ea8 \
    --filter-criteria '{"Filters": [{"Pattern": "{ \"value\" : { \"device_ID\" : [ { \"prefix\":  \"AB\" } ] } }"}]}'

Per aggiungere questi criteri di filtraggio a una mappatura dell'origine degli eventi esistente, esegui il comando seguente.

aws lambda update-event-source-mapping \
    --uuid "a1b2c3d4-5678-90ab-cdef-11111EXAMPLE" \
    --filter-criteria '{"Filters": [{"Pattern": "{ \"value\" : { \"device_ID\" : [ { \"prefix\":  \"AB\" } ] } }"}]}'

AWS SAM

Per aggiungere questo filtro utilizzando AWS SAM, aggiungete il seguente frammento al YAML modello per la fonte dell'evento.

FilterCriteria:
  Filters:
    - Pattern: '{ "value" : { "device_ID" : [ { "prefix":  "AB" } ] } }'

Con AmazonMSK, puoi anche filtrare i record in cui il messaggio è una stringa semplice. Supponiamo di voler ignorare i messaggi la cui stringa è "errore". L'oggetto FilterCriteria dovrebbe avere la struttura seguente.

{
    "Filters": [
        {
            "Pattern": "{ \"value\" : [ { \"anything-but\": [ \"error\" ] } ] }"
        }
    ]
}

Per maggiore chiarezza, ecco il valore del filtro Pattern espanso in chiaroJSON.

{
    "value": [
        {
        "anything-but": [ "error" ]
        }
    ]
}

Puoi aggiungere il filtro utilizzando la console AWS CLI o un AWS SAM modello.

Console

Per aggiungere questo filtro utilizzando la console, segui le istruzioni riportate in Collegamento dei criteri di filtro a una mappatura dell'origine evento (console) e inserisci la seguente stringa per i criteri di filtraggio.

{ "value" : [ { "anything-but": [ "error" ] } ] }

AWS CLI

Per creare una nuova mappatura dell'origine degli eventi con questi criteri di filtro utilizzando AWS Command Line Interface (AWS CLI), esegui il comando seguente.

aws lambda create-event-source-mapping \
    --function-name my-function \
    --event-source-arn arn:aws:kafka:us-east-2:123456789012:cluster/my-cluster/b-8ac7cc01-5898-482d-be2f-a6b596050ea8 \
    --filter-criteria '{"Filters": [{"Pattern": "{ \"value\" : [ { \"anything-but\": [ \"error\" ] } ] }"}]}'

Per aggiungere questi criteri di filtraggio a una mappatura dell'origine degli eventi esistente, esegui il comando seguente.

aws lambda update-event-source-mapping \
    --uuid "a1b2c3d4-5678-90ab-cdef-11111EXAMPLE" \
    --filter-criteria '{"Filters": [{"Pattern": "{ \"value\" : [ { \"anything-but\": [ \"error\" ] } ] }"}]}'

AWS SAM

Per aggiungere questo filtro utilizzando AWS SAM, aggiungete il seguente frammento al YAML modello per la fonte dell'evento.

FilterCriteria:
  Filters:
    - Pattern: '{ "value" : [ { "anything-but": [ "error" ] } ] }'

MSKI messaggi Amazon devono essere UTF composti da -8 stringhe codificate, semplici o in formato. JSON Questo perché Lambda decodifica gli array di byte MSK Amazon UTF in -8 prima di applicare i criteri di filtro. Se i tuoi messaggi utilizzano un'altra codifica, ad esempio UTF -16 oASCII, o se il formato del messaggio non corrisponde al FilterCriteria formato, Lambda elabora solo i filtri dei metadati. La tabella seguente riepiloga il comportamento specifico:

Formato messaggio in arrivo	Formato del modello di filtro per le proprietà di messaggi	Operazione risultante
Stringa normale	Stringa normale	Filtri Lambda in base ai criteri di filtro.
Stringa normale	Nessun modello di filtro per le proprietà dei dati	Filtri Lambda (solo sulle altre proprietà dei metadati) in base ai criteri di filtro.
Stringa normale	Valido JSON	Filtri Lambda (solo sulle altre proprietà dei metadati) in base ai criteri di filtro.
Valido JSON	Stringa normale	Filtri Lambda (solo sulle altre proprietà dei metadati) in base ai criteri di filtro.
Valido JSON	Nessun modello di filtro per le proprietà dei dati	Filtri Lambda (solo sulle altre proprietà dei metadati) in base ai criteri di filtro.
Valido JSON	Valido JSON	Filtri Lambda in base ai criteri di filtro.
Stringa codificata non UTF -8	JSON, stringa semplice o nessun modello	Filtri Lambda (solo sulle altre proprietà dei metadati) in base ai criteri di filtro.