Configurar los ajustes de origen para Amazon MSK - Amazon Data Firehose

La entrega de transmisiones de Amazon Data Firehose a Apache Iceberg Tables en Amazon S3 está en versión preliminar y está sujeta a cambios.

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Configurar los ajustes de origen para Amazon MSK

Cuando eliges Amazon MSK para enviar información a una transmisión de Firehose, puedes elegir entre clústeres MSK aprovisionados MSK o sin servidor. A continuación, puedes usar Firehose para leer fácilmente los datos de un tema y un MSK clúster de Amazon específicos y cargarlos en el destino S3 especificado.

En la sección Configuración de fuentes de la página, proporciona valores para los siguientes campos.

Conectividad con MSK clústeres de Amazon

Elija la opción Agentes de arranque privados (recomendada) o Agentes de arranque públicos en función de la configuración del clúster. Los agentes de arranque es lo que el cliente de Apache Kafka utiliza como punto de partida para conectarse al clúster. Los corredores de bootstrap públicos están destinados al acceso público desde fuera de AWS, mientras que los corredores de bootstrap privados están diseñados para acceder desde dentro AWS. Para obtener más información sobre AmazonMSK, consulte Amazon Managed Streaming for Apache Kafka Kafka.

Para conectarse a un MSK clúster de Amazon aprovisionado o sin servidor a través de agentes de arranque privados, el clúster debe cumplir todos los requisitos siguientes.

  • El clúster debe estar activo.

  • El clúster debe tener IAM uno de sus métodos de control de acceso.

  • La conectividad VPC multiprivada debe estar habilitada para el método de control de IAM acceso.

  • Debes añadir a este clúster una política basada en recursos que conceda al director de servicio de Firehose el permiso para invocar la operación de Amazon. MSK CreateVpcConnection API

Para conectarse a un MSK clúster de Amazon aprovisionado a través de agentes de arranque públicos, el clúster debe cumplir todos los requisitos siguientes.

  • El clúster debe estar activo.

  • El clúster debe tener uno IAM de sus métodos de control de acceso.

  • El clúster debe ser de acceso público.

MSKcuenta de clúster

Puedes elegir la cuenta en la que reside el MSK clúster de Amazon. Puede ser una de las siguientes opciones.

  • Cuenta corriente: le permite ingerir datos de un MSK clúster en la cuenta corriente AWS account. Para ello, debes especificar el MSK clúster ARN de Amazon desde el que tu transmisión de Firehose leerá los datos.

  • Cuenta cruzada: te permite ingerir datos de un MSK clúster en otro AWS account. Para obtener más información, consulte Envío multicuenta desde Amazon MSK.

Tema

Especifique el tema de Apache Kafka del que quiere que su transmisión de Firehose ingiera datos. No podrás actualizar este tema una vez finalizada la creación de la transmisión de Firehose.