Écrire sur Amazon Data Firehose à l'aide de Kinesis Data Streams - Amazon Data Firehose

Amazon Data Firehose était auparavant connu sous le nom d'Amazon Kinesis Data Firehose

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Écrire sur Amazon Data Firehose à l'aide de Kinesis Data Streams

Vous pouvez configurer Amazon Kinesis Data Streams pour envoyer des informations à un flux Firehose.

Important

Si vous utilisez la bibliothèque producteur Kinesis (KPL) pour écrire des données dans un flux de données Kinesis, vous pouvez utiliser un regroupement pour combiner ces enregistrements Kinesis. Si vous utilisez ensuite ce flux de données comme source pour votre flux Firehose, Amazon Data Firehose désagrège les enregistrements avant de les envoyer à destination. Si vous configurez votre flux de diffusion pour transformer les données, Amazon Data Firehose désagrège les enregistrements avant de les transmettre. AWS Lambda Pour de plus amples informations, veuillez consulter Developing Amazon Kinesis Data Streams Producers Using the Kinesis Producer Library and Aggregation.

  1. Connectez-vous à la console Amazon Data Firehose AWS Management Console et ouvrez-la à l'adresse https://console.aws.amazon.com/firehose/.

  2. Choisissez Create Firehose stream. Sur la page Nom et source, saisissez des valeurs dans les champs suivants :

    Nom du stream Firehose

    Le nom de votre stream Firehose.

    Source

    Choisissez Kinesis stream pour configurer un flux Firehose qui utilise un flux de données Kinesis comme source de données. Vous pouvez ensuite utiliser Amazon Data Firehose pour lire facilement les données d'un flux de données existant et les charger dans des destinations.

    Pour utiliser un flux de données Kinesis en tant que source, choisissez un flux existant dans la liste Flux Kinesis ou choisissez Créer un nouveau pour créer un nouveau flux de données. Une fois le nouveau flux créé, choisissez Actualiser pour mettre à jour la liste Flux Kinesis. Si vous avez un grand nombre de flux, filtrez la liste avec l'option Filter by name (Filtrer par nom).

    Note

    Lorsque vous configurez un flux de données Kinesis comme source d'un flux Firehose, Amazon Data PutRecord Firehose et ses opérations sont désactivés. PutRecordBatch Pour ajouter des données à votre flux Firehose dans ce cas, utilisez les Kinesis Data Streams et les opérations. PutRecord PutRecords

    Amazon Data Firehose commence à lire les données à partir de la LATEST position de votre flux Kinesis. Pour plus d'informations sur les positions de Kinesis Data Streams, GetShardIteratorconsultez. Amazon Data Firehose lance l'GetRecordsopération Kinesis Data Streams une fois par seconde pour chaque partition.

    Plusieurs flux Firehose peuvent être lus à partir du même flux Kinesis. D'autres applications Kinesis (de type consommateur) peuvent également lire des données à partir du même flux. Chaque appel provenant d'un stream Firehose ou d'une autre application grand public est pris en compte dans la limite de limitation globale de la partition. Pour éviter les restrictions, planifiez attentivement vos applications. Pour plus d'informations sur les limites de Kinesis Data Streams, consultez Amazon Kinesis Streams Limits.

  3. Choisissez Next (Suivant) pour passer à la page Transformation d'enregistrements et conversion de format.