Escribir en Amazon Data Firehose mediante Kinesis Data Streams

Puede configurar Amazon Kinesis Data Streams para enviar información a una transmisión de Firehose.

importante

Si utiliza Kinesis Producer Library (KPL) para escribir datos en un flujo de datos de Kinesis, puede utilizar la agregación para combinar los registros que escriba en ese flujo de datos de Kinesis. Si, a continuación, utiliza esa transmisión de datos como fuente para la transmisión de Firehose, Amazon Data Firehose desagrega los registros antes de entregarlos al destino. Si configura la transmisión de Firehose para transformar los datos, Amazon Data Firehose desagrega los registros antes de enviarlos a. AWS Lambda Para obtener más información, consulte Desarrollar productores en Amazon Kinesis Data Streams con la Kinesis Producer Library y Agregación.

1. Inicie sesión en la consola Amazon Data Firehose AWS Management Console y ábrala en https://console.aws.amazon.com/firehose/.

2. Selecciona Crear transmisión de Firehose. En la página Name and source (Nombre y origen), proporcione valores para los siguientes campos:

   Nombre de la transmisión Firehose

   El nombre de tu transmisión de Firehose.

   Origen

   Elija la transmisión de Kinesis para configurar una transmisión de Firehose que utilice una transmisión de datos de Kinesis como fuente de datos. A continuación, puede utilizar Amazon Data Firehose para leer fácilmente los datos de un flujo de datos existente y cargarlos en los destinos.

   Para utilizar un flujo de datos de Kinesis como origen, elija un flujo de la lista Flujo de Kinesis o elija Crear nuevo para crear un nuevo flujo de datos de Kinesis. Después de crear un nuevo flujo, elija Actualizar para actualizar la lista Flujo de Kinesis. Si tiene un gran número de flujos, filtre la lista con Filter by name.

   nota

   Al configurar una transmisión de datos de Kinesis como origen de una transmisión de Firehose, Amazon Data PutRecord Firehose y sus operaciones se deshabilitan. PutRecordBatch En este caso, para añadir datos a la transmisión de Firehose, utilice las operaciones y los flujos de datos de Kinesis. PutRecord PutRecords

   Amazon Data Firehose comienza a leer los datos desde la LATEST posición de la transmisión de Kinesis. Para obtener más información sobre las posiciones de Kinesis Data Streams, GetShardIteratorconsulte.

   Amazon Data Firehose llama a la GetRecordsoperación de Kinesis Data Streams una vez por segundo para cada fragmento. Sin embargo, cuando la copia de seguridad completa está habilitada, Firehose llama a la GetRecords operación de Kinesis Data Streams dos veces por segundo para cada fragmento, una para el destino de entrega principal y otra para la copia de seguridad completa.

   Se puede leer más de una transmisión de Firehose de la misma transmisión de Kinesis. Otras aplicaciones de Kinesis (consumidores) pueden leer también datos del mismo flujo. Cada llamada desde cualquier transmisión de Firehose u otra aplicación de consumo se tiene en cuenta para el límite de aceleración general del fragmento. Para evitar las limitaciones, planee sus aplicaciones con especial cuidado. Para obtener más información sobre los límites de Kinesis Data Streams, consulte Amazon Kinesis Streams Limits.

3. Seleccione Next para pasar a la página Configurar la transformación de registros y la conversión de formato.