Escribir en Amazon Data Firehose mediante Amazon MSK - Amazon Data Firehose

Amazon Data Firehose se conocía anteriormente como Amazon Kinesis Data Firehose

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Escribir en Amazon Data Firehose mediante Amazon MSK

Puede configurar Amazon MSK para que envíe información a una transmisión de Firehose.

  1. Inicie sesión en la consola Amazon Data Firehose AWS Management Console y ábrala en https://console.aws.amazon.com/firehose/.

  2. Selecciona Crear transmisión de Firehose.

    En la sección Elija un origen y un destino de la página, proporcione valores para los siguientes campos:

    Origen

    Elija Amazon MSK para configurar una transmisión Firehose que utilice Amazon MSK como fuente de datos. Puede elegir entre clústeres aprovisionados por MSK y clústeres sin servidor de MSK. A continuación, puede utilizar Amazon Data Firehose para leer fácilmente los datos de un tema y un clúster de Amazon MSK específicos y cargarlos en el destino S3 especificado.

    Destino

    Elija Amazon S3 como destino de la transmisión de Firehose.

    En la sección Configuración de origen de la página, proporcione valores para los siguientes campos:

    Conectividad de clústeres de Amazon MSK

    Elija la opción Agentes de arranque privados (recomendada) o Agentes de arranque públicos en función de la configuración del clúster. Los agentes de arranque es lo que el cliente de Apache Kafka utiliza como punto de partida para conectarse al clúster. Los corredores de bootstrap públicos están diseñados para el acceso público desde fuera AWS, mientras que los corredores de bootstrap privados están destinados al acceso desde dentro. AWSPara obtener más información sobre Amazon MSK, consulte Amazon Managed Streaming para Apache Kafka.

    Para conectarse a un clúster de Amazon MSK aprovisionado o sin servidor a través de agentes de arranque privados, el clúster debe cumplir todos los requisitos siguientes.

    • El clúster debe estar activo.

    • El clúster debe tener IAM como uno de sus métodos de control de acceso.

    • La conectividad privada de múltiples VPC debe estar habilitada para el método de control de acceso de IAM.

    • Debe añadir a este clúster una política basada en recursos que conceda al director del servicio Amazon Data Firehose el permiso para invocar la API de Amazon MSK. CreateVpcConnection

    Para conectarse a un clúster de Amazon MSK aprovisionado a través de agentes de arranque públicos, el clúster debe cumplir todos los requisitos siguientes.

    • El clúster debe estar activo.

    • El clúster debe tener IAM como uno de sus métodos de control de acceso.

    • El clúster debe ser de acceso público.

    Clúster de Amazon RDS

    Para el mismo escenario de cuenta, especifique el ARN del clúster de Amazon MSK desde donde leerá los datos la transmisión de Firehose.

    En el caso de un escenario entre cuentas, consulte Entrega entre cuentas desde Amazon MSK.

    Tema

    Especifique el tema de Apache Kafka del que desea que su flujo de entrega ingiera datos. Una vez creada la transmisión de Firehose, no podrás actualizar este tema.

    En la sección de nombres de transmisión de Firehose de la página, proporciona valores para los siguientes campos:

    Nombre de la transmisión Firehose

    Especifica el nombre de tu transmisión de Firehose.

  3. Luego, puede completar el paso opcional de configurar la transformación de registros y la conversión del formato de registros. Para obtener más información, consulte Transformación de registros y conversión de formatos.