Agregar un clúster Amazon MSK como origen de eventos - AWS Lambda

Agregar un clúster Amazon MSK como origen de eventos

Puede utilizar una función Lambda para procesar registros del clúster de Apache Kafka cuando el clúster está configurado como origen de eventos. Para crear un mapeo de origen de eventos, puede agregar el clúster de Kafka como un desencadenador de función Lambda mediante la consola de Lambda, el SDK de AWS o la AWS Command Line Interface (AWS CLI).

En esta sección se describe cómo agregar el clúster y el tema de Kafka como un desencadenador de función mediante la consola de Lambda o la AWS CLI.

Requisitos previos

Configuración de la VPC

Para obtener Apache Kafka registros de Amazon MSK los brokers, Lambda debe tener acceso a los Amazon Virtual Private Cloud (Amazon VPC) recursos asociados con su clúster MSK. Para cumplir con los requisitos de Amazon VPC acceso, recomendamos:

Los grupos Amazon VPC de seguridad deben configurarse con las siguientes reglas (como mínimo):

  • Reglas de entrada –: permitir todo el tráfico en todos los puertos del grupo de seguridad especificado como origen de evento.

  • Reglas de salida: permitir todo el tráfico en todos los puertos para todos los destinos.

nota

La configuración Amazon VPC se puede detectar a través de la Amazon MSK API y no necesita configurarse en la configuración create-event-source-mapping.

Añadir un clúster de Amazon MSK utilizando la consola Lambda

Siga estos pasos para agregar su clúster Amazon MSK y un tema Kafka como desencadenador de su función Lambda.

Para agregar un disparador MSK a su Lambda función (consola)

  1. Abra la Página de Funciones de la consola de Lambda.

  2. Elija el nombre de su función Lambda.

  3. En Function overview (Descripción general de la función), elija Add trigger (Agregar disparador).

  4. En Configuración del disparador, elija el tipo de desencadenador MSK.

  5. Configure las opciones restantes y luego elija Añadir.

Añadir un clúster de Amazon MSK mediante el comando AWS CLI

Utilice los siguientes AWS CLI comandos de ejemplo para crear y ver un Amazon MSK desencadenador para su función Lambda.

Crear un desencadenador mediante el AWS CLI

En el ejemplo siguiente se utiliza el comando de la AWS CLI create-event-source-mapping para mapear una función Lambda denominada my-kafka-function a un tema de Kafka denominado AWSKafkaTopic. La posición inicial del tema está establecida en latest.

aws lambda create-event-source-mapping --event-source-arn arn:aws:kafka:us-west-2:arn:aws:kafka:us-west-2:111111111111:cluster/my-cluster/fc2f5bdf-fd1b-45ad-85dd-15b4a5a6247e-2 --topics AWSKafkaTopic --starting-position LATEST --function-name my-kafka-function

Para obtener más información, consulte la documentación de referencia de la API CreateEventSourceMapping.

Visualización del estado mediante el AWS CLI

En el ejemplo siguiente se utiliza el comando de la AWS CLI get-event-source-mapping para describir el estado del mapeo de origen de eventos creado.

aws lambda get-event-source-mapping --uuid 6d9bce8e-836b-442c-8070-74e77903c815