Paramètres de destination - Amazon Data Firehose
Choisir Amazon S3 pour votre destinationChoisir Amazon Redshift pour votre destinationChoisissez le OpenSearch service adapté à votre destinationChoisissez OpenSearch Serverless pour votre destinationChoisir le point de terminaison HTTP pour votre destinationChoisir Datadog pour votre destinationChoisir Honeycomb pour votre destinationChoisir Coralogix pour votre destinationChoisissez Dynatrace pour votre destinationChoisissez LogicMonitor votre destinationChoisir Logz.io pour votre destinationChoisir MongoDB Cloud pour votre destinationChoisir New Relic pour votre destinationChoisissez Snowflake pour votre destinationChoix d'une destination SplunkChoisir Splunk Observability Cloud pour votre destinationChoisir Sumo Logic pour votre destinationChoisir Elastic pour votre destination

Amazon Data Firehose était auparavant connu sous le nom d'Amazon Kinesis Data Firehose

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Paramètres de destination

Cette rubrique décrit les paramètres de destination pour votre flux de diffusion. Pour plus d'informations sur les conseils de mise en mémoire tampon, consultezConseils de mise en mémoire tampon.

Choisir Amazon S3 pour votre destination

Vous devez spécifier les paramètres suivants afin d'utiliser Amazon S3 comme destination pour votre flux Firehose.

  • Saisissez des valeurs pour les champs suivants.

    Compartiment S3

    Parmi les compartiments S3 que vous possédez, choisissez celui dans lequel les données de streaming doivent être livrées. Vous pouvez créer un compartiment S3 ou en choisir un existant.

    Nouveau délimiteur de ligne

    Vous pouvez configurer votre flux de diffusion pour ajouter un nouveau délimiteur de ligne entre les enregistrements des objets livrés à Amazon S3. Pour ce faire, choisissez Activé. Pour ne pas ajouter de nouveau délimiteur de ligne entre les enregistrements des objets diffusés à Amazon S3, choisissez Désactivé. Si vous envisagez d'utiliser Athena pour interroger des objets S3 avec des enregistrements agrégés, activez cette option.

    Partitionnement dynamique

    Choisissez Activé pour activer et configurer le partitionnement dynamique.

    Déagrégation de plusieurs enregistrements

    Il s'agit du processus qui consiste à analyser les enregistrements du flux de diffusion et à les séparer en fonction du JSON valide ou du nouveau délimiteur de ligne spécifié.

    Si vous regroupez plusieurs événements, journaux ou enregistrements en un seul PutRecord appel d' PutRecordBatch API, vous pouvez toujours activer et configurer le partitionnement dynamique. Avec les données agrégées, lorsque vous activez le partitionnement dynamique, Amazon Data Firehose analyse les enregistrements et recherche plusieurs objets JSON valides dans chaque appel d'API. Lorsque le flux Firehose est configuré avec Kinesis Data Stream comme source, vous pouvez également utiliser l'agrégation intégrée dans la Kinesis Producer Library (KPL). La fonctionnalité de partition des données est exécutée après la désagrégation des données. Par conséquent, chaque enregistrement de chaque appel d'API peut être transmis à différents préfixes Amazon S3. Vous pouvez également tirer parti de l'intégration de la fonction Lambda pour effectuer toute autre désagrégation ou toute autre transformation avant la fonctionnalité de partitionnement des données.

    Important

    Si vos données sont agrégées, le partitionnement dynamique ne peut être appliqué qu'après la désagrégation des données. Ainsi, si vous activez le partitionnement dynamique de vos données agrégées, vous devez sélectionner Activé pour activer la désagrégation multi-enregistrements.

    Firehose Stream exécute les étapes de traitement suivantes dans l'ordre suivant : désagrégation KPL (protobuf), désagrégation JSON ou délimiteur, traitement Lambda, partitionnement des données, conversion des formats de données et livraison Amazon S3.

    Type de désagrégation à enregistrements multiples

    Si vous avez activé la désagrégation multi-enregistrements, vous devez spécifier la méthode que Firehose utilisera pour désagréger vos données. Utilisez le menu déroulant pour choisir JSON ou Délimité.

    Analyse en ligne

    Il s'agit de l'un des mécanismes pris en charge pour partitionner dynamiquement vos données destinées à Amazon S3. Pour utiliser l'analyse en ligne pour le partitionnement dynamique pour vos données, vous devez spécifier les paramètres d'enregistrement de données à utiliser comme clés de partitionnement et fournir une valeur pour chaque clé de partitionnement spécifiée. Choisissez Activé pour activer et configurer le l'analyse en ligne.

    Important

    Si vous avez spécifié une fonction AWS Lambda dans les étapes ci-dessus pour transformer vos enregistrements source, vous pouvez utiliser cette fonction pour partitionner dynamiquement vos données liées à S3 et vous pouvez toujours créer vos clés de partitionnement grâce à l'analyse en ligne. Avec le partitionnement dynamique, vous pouvez utiliser l'analyse en ligne ou votre fonction AWS Lambda pour créer vos clés de partitionnement. Vous pouvez également utiliser à la fois l'analyse en ligne et votre fonction AWS Lambda pour créer vos clés de partitionnement.

    Clés de partitionnement dynamique

    Vous pouvez utiliser les champs Clé et Valeur pour spécifier les paramètres d'enregistrement de données à utiliser comme clés de partitionnement dynamique et les requêtes JQ pour générer des valeurs de clé de partitionnement dynamique. Firehose ne prend en charge que jq 1.6. Vous pouvez spécifier jusqu'à 50 clés de partitionnement dynamique. Vous devez entrer des expressions jq valides pour les valeurs de vos clés de partitionnement dynamique afin de configurer correctement le partitionnement dynamique pour votre flux Firehose.

    Préfixe du compartiment S3

    Lorsque vous activez et configurez le partitionnement dynamique, vous devez spécifier les préfixes de compartiment S3 auxquels Amazon Data Firehose doit fournir les données partitionnées.

    Pour que le partitionnement dynamique soit correctement configuré, le nombre de préfixes du compartiment S3 doit être identique au nombre de clés de partitionnement spécifiées.

    Vous pouvez partitionner vos données sources à l'aide de l'analyse en ligne ou de la fonction Lambda AWS que vous avez spécifiée. Si vous avez spécifié une fonction AWS Lambda pour créer des clés de partitionnement pour vos données sources, vous devez saisir manuellement les valeurs du préfixe du compartiment S3 en utilisant le format suivant : « Lambda:KeyID ». partitionKeyFrom Si vous utilisez l'analyse en ligne pour spécifier les clés de partitionnement de vos données sources, vous pouvez soit saisir manuellement les valeurs d'aperçu du compartiment S3 en utilisant le format suivant : « partitionKeyFrom query:keyID », soit choisir le bouton Appliquer les clés de partitionnement dynamique pour utiliser vos paires clé/valeur de partitionnement dynamique afin de générer automatiquement les préfixes de vos compartiments S3. Lorsque vous partitionnez vos données à l'aide de l'analyse en ligne ou de AWS Lambda, vous pouvez également utiliser les formes d'expression suivantes dans le préfixe de votre compartiment S3 : ! {namespace:value}, où l'espace de noms peut être Query ou Lambda. partitionKeyFrom partitionKeyFrom

    Bucket S3 et fuseau horaire du préfixe de sortie d'erreur S3

    Choisissez le fuseau horaire que vous souhaitez utiliser pour la date et l'heure dans les préfixes personnalisés pour les objets Amazon Simple Storage Service. Par défaut, Firehose ajoute un préfixe horaire en UTC. Vous pouvez modifier le fuseau horaire utilisé dans les préfixes S3 si vous souhaitez utiliser un autre fuseau horaire.

    Conseils de mise en mémoire tampon

    Firehose met en mémoire tampon les données entrantes avant de les livrer à la destination spécifiée. La taille de mémoire tampon recommandée pour la destination varie d'un fournisseur de services à l'autre.

    Compression S3

    Choisissez la compression de données GZIP, Snappy, Zip ou Snappy compatible avec Hadoop, ou aucune compression de données. La compression Snappy, Zip et Snappy compatible avec Hadoop n'est pas disponible pour les flux de diffusion dont Amazon Redshift est la destination.

    Format d'extension de fichier S3 (facultatif)

    Spécifiez un format d'extension de fichier pour les objets livrés au compartiment de destination Amazon S3. Si vous activez cette fonctionnalité, l'extension de fichier spécifiée remplacera les extensions de fichier par défaut ajoutées par les fonctionnalités de conversion de format de données ou de compression S3 telles que .parquet ou .gz. Assurez-vous d'avoir configuré la bonne extension de fichier lorsque vous utilisez cette fonctionnalité avec la conversion de format de données ou la compression S3. L'extension de fichier doit commencer par un point (.) et peut contenir les caractères autorisés : 0-9a-z ! -_.*' (). L'extension de fichier ne peut pas dépasser 128 caractères.

    Chiffrement S3

    Firehose prend en charge le chiffrement côté serveur Amazon S3 avec AWS Key Management Service (SSE-KMS) pour chiffrer les données livrées dans Amazon S3. Vous pouvez choisir d'utiliser le type de chiffrement par défaut spécifié dans le compartiment S3 de destination ou de chiffrer avec une clé de la liste des AWS KMS clés que vous possédez. Si vous chiffrez les données à l'aide de AWS KMS clés, vous pouvez utiliser la clé AWS gérée par défaut (aws/s3) ou une clé gérée par le client. Pour plus d'informations, voir Protection des données à l'aide du chiffrement côté serveur avec des clés AWS gérées par KMS (SSE-KMS).

Choisir Amazon Redshift pour votre destination

Cette section décrit les paramètres d'utilisation d'Amazon Redshift comme destination de votre stream Firehose.

Choisissez l'une des procédures suivantes selon que vous disposez d'un cluster Amazon Redshift provisionné ou d'un groupe de travail Amazon Redshift sans serveur.

Cluster provisionné Amazon Redshift

Cette section décrit les paramètres d'utilisation du cluster provisionné Amazon Redshift comme destination de votre flux Firehose.

  • Saisissez des valeurs pour les champs suivants :

    Cluster

    Cluster Amazon Redshift dans lequel vos données de compartiment S3 sont copiées. Configurez le cluster Amazon Redshift pour qu'il soit accessible au public et débloquez les adresses IP Amazon Data Firehose. Pour plus d’informations, consultez Accorder à Amazon Data Firehose l'accès à une destination Amazon Redshift .

    Nom utilisateur

    Un utilisateur Amazon Redshift qui est autorisé à accéder au cluster Amazon Redshift. Cet utilisateur doit avoir l'autorisation INSERT d'Amazon Redshift pour copier des données du compartiment S3 vers le cluster Amazon Redshift.

    Mot de passe :

    Mot de passe de l'utilisateur autorisé à accéder au cluster.

    Database (Base de données)

    La base de données Amazon Redshift dans laquelle les données sont copiées.

    Tableau 

    La table Amazon Redshift dans laquelle les données sont copiées.

    Colonnes

    (Facultatif) Colonnes spécifiques de la table dans laquelle les données sont copiées. Utilisez cette option si le nombre de colonnes défini dans vos objets Amazon S3 est inférieur au nombre de colonnes de la table Amazon Redshift.

    Destination S3 intermédiaire

    Firehose envoie d'abord vos données dans votre compartiment S3, puis émet une commande Amazon COPY Redshift pour charger les données dans votre cluster Amazon Redshift. Spécifiez un compartiment S3 que vous possédez dans lequel les données de diffusion en continu doivent être diffusées. Créez un nouveau compartiment S3 ou choisissez un compartiment existant dont vous êtes propriétaire.

    Firehose ne supprime pas les données de votre compartiment S3 après les avoir chargées dans votre cluster Amazon Redshift. Vous pouvez gérer les données de votre compartiment S3 à l'aide d'une configuration du cycle de vie. Pour plus d'informations, consultez lGestion du cycle de vie des objets dans le Guide de l'utilisateur Amazon Simple Storage Service.

    Préfixe du compartiment S3 intermédiaire

    (Facultatif) Pour utiliser le préfixe par défaut des objets Amazon S3, laissez cette option vide. Firehose utilise automatiquement un préfixe au format « YYYY/MM/dd/HH » UTC pour les objets Amazon S3 livrés. Vous pouvez ajouter le début de ce préfixe. Pour plus d’informations, consultez Format du nom d'objet Amazon S3.

    COPY options (Options COPY)

    Paramètres que vous pouvez spécifier dans la commande COPY d'Amazon Redshift. Ils peuvent être nécessaires pour votre configuration. Par exemple, « GZIP » est obligatoire si la compression des données Amazon S3 est activée. « REGION » est obligatoire si votre compartiment S3 ne se trouve pas dans la même AWS région que votre cluster Amazon Redshift. Pour plus d'informations, veuillez consulter la rubrique COPY dans le Guide du développeur de la base de données Amazon Redshift.

    COPY command (Commande COPY)

    La commande COPY Amazon Redshift. Pour plus d'informations, veuillez consulter la rubrique COPY dans le Guide du développeur de la base de données Amazon Redshift.

    Retry duration (Durée de la nouvelle tentative)

    Durée (0 à 7 200 secondes) pendant laquelle Firehose doit réessayer si les données de votre cluster COPY Amazon Redshift échouent. Firehose réessaie toutes les 5 minutes jusqu'à la fin de la période d'essai. Si vous définissez la durée de la nouvelle tentative sur 0 (zéro) seconde, Firehose ne réessaie pas en cas d'échec d'une commande. COPY

    Conseils de mise en mémoire tampon

    Firehose met en mémoire tampon les données entrantes avant de les livrer à la destination spécifiée. La taille de mémoire tampon recommandée pour la destination varie d'un fournisseur de services à l'autre.

    Compression S3

    Choisissez la compression de données GZIP, Snappy, Zip ou Snappy compatible avec Hadoop, ou aucune compression de données. La compression Snappy, Zip et Snappy compatible avec Hadoop n'est pas disponible pour les flux de diffusion dont Amazon Redshift est la destination.

    Format d'extension de fichier S3 (facultatif)

    Format d'extension de fichier S3 (facultatif) : spécifiez un format d'extension de fichier pour les objets livrés au compartiment de destination Amazon S3. Si vous activez cette fonctionnalité, l'extension de fichier spécifiée remplacera les extensions de fichier par défaut ajoutées par les fonctionnalités de conversion de format de données ou de compression S3 telles que .parquet ou .gz. Assurez-vous d'avoir configuré la bonne extension de fichier lorsque vous utilisez cette fonctionnalité avec la conversion de format de données ou la compression S3. L'extension de fichier doit commencer par un point (.) et peut contenir les caractères autorisés : 0-9a-z ! -_.*' (). L'extension de fichier ne peut pas dépasser 128 caractères.

    Chiffrement S3

    Firehose prend en charge le chiffrement côté serveur Amazon S3 avec AWS Key Management Service (SSE-KMS) pour chiffrer les données livrées dans Amazon S3. Vous pouvez choisir d'utiliser le type de chiffrement par défaut spécifié dans le compartiment S3 de destination ou de chiffrer avec une clé de la liste des AWS KMS clés que vous possédez. Si vous chiffrez les données à l'aide de AWS KMS clés, vous pouvez utiliser la clé AWS gérée par défaut (aws/s3) ou une clé gérée par le client. Pour plus d'informations, voir Protection des données à l'aide du chiffrement côté serveur avec des clés AWS gérées par KMS (SSE-KMS).

Groupe de travail Amazon Redshift sans serveur

Cette section décrit les paramètres d'utilisation du groupe de travail Amazon Redshift Serverless comme destination de votre stream Firehose.

  • Saisissez des valeurs pour les champs suivants :

    Nom du groupe de travail

    Le groupe de travail Amazon Redshift sans serveur dans lequel vos données de compartiment S3 sont copiées. Configurez le groupe de travail Amazon Redshift Serverless pour qu'il soit accessible au public et débloquez les adresses IP Firehose. Pour de plus amples informations, consultez la section de l'instance Se connecter à Amazon Redshift sans serveur lorsqu'il est publiquement accessible dans Connexion à Amazon Redshift sans serveur et également Accorder à Amazon Data Firehose l'accès à une destination Amazon Redshift .

    Nom utilisateur

    Un utilisateur Amazon Redshift qui est autorisé à accéder au groupe de travail Amazon Redshift sans serveur. Cet utilisateur doit avoir l'autorisation INSERT d'Amazon Redshift pour copier des données du compartiment S3 vers le groupe de travail Amazon Redshift sans serveur.

    Mot de passe :

    Le mot de passe de l'utilisateur qui est autorisé à accéder au groupe de travail Amazon Redshift sans serveur.

    Database (Base de données)

    La base de données Amazon Redshift dans laquelle les données sont copiées.

    Tableau 

    La table Amazon Redshift dans laquelle les données sont copiées.

    Colonnes

    (Facultatif) Colonnes spécifiques de la table dans laquelle les données sont copiées. Utilisez cette option si le nombre de colonnes défini dans vos objets Amazon S3 est inférieur au nombre de colonnes de la table Amazon Redshift.

    Destination S3 intermédiaire

    Amazon Data Firehose envoie d'abord vos données dans votre compartiment S3, puis émet une commande Amazon COPY Redshift pour charger les données dans votre groupe de travail Amazon Redshift Serverless. Spécifiez un compartiment S3 que vous possédez dans lequel les données de diffusion en continu doivent être diffusées. Créez un nouveau compartiment S3 ou choisissez un compartiment existant dont vous êtes propriétaire.

    Firehose ne supprime pas les données de votre compartiment S3 après les avoir chargées dans votre groupe de travail Amazon Redshift Serverless. Vous pouvez gérer les données de votre compartiment S3 à l'aide d'une configuration du cycle de vie. Pour plus d'informations, consultez lGestion du cycle de vie des objets dans le Guide de l'utilisateur Amazon Simple Storage Service.

    Préfixe du compartiment S3 intermédiaire

    (Facultatif) Pour utiliser le préfixe par défaut des objets Amazon S3, laissez cette option vide. Firehose utilise automatiquement un préfixe au format « YYYY/MM/dd/HH » UTC pour les objets Amazon S3 livrés. Vous pouvez ajouter le début de ce préfixe. Pour plus d’informations, consultez Format du nom d'objet Amazon S3.

    COPY options (Options COPY)

    Paramètres que vous pouvez spécifier dans la commande COPY d'Amazon Redshift. Ils peuvent être nécessaires pour votre configuration. Par exemple, « GZIP » est obligatoire si la compression des données Amazon S3 est activée. « REGION » est obligatoire si votre compartiment S3 ne se trouve pas dans la même AWS région que votre groupe de travail Amazon Redshift Serverless. Pour plus d'informations, veuillez consulter la rubrique COPY dans le Guide du développeur de la base de données Amazon Redshift.

    COPY command (Commande COPY)

    La commande COPY Amazon Redshift. Pour plus d'informations, veuillez consulter la rubrique COPY dans le Guide du développeur de la base de données Amazon Redshift.

    Retry duration (Durée de la nouvelle tentative)

    Durée (0 à 7 200 secondes) pendant laquelle Firehose doit réessayer si les données de votre groupe de travail COPY Amazon Redshift Serverless échouent. Firehose réessaie toutes les 5 minutes jusqu'à la fin de la période d'essai. Si vous définissez la durée de la nouvelle tentative sur 0 (zéro) seconde, Firehose ne réessaie pas en cas d'échec d'une commande. COPY

    Conseils de mise en mémoire tampon

    Firehose met en mémoire tampon les données entrantes avant de les livrer à la destination spécifiée. La taille de mémoire tampon recommandée pour la destination varie d'un fournisseur de services à l'autre.

    Compression S3

    Choisissez la compression de données GZIP, Snappy, Zip ou Snappy compatible avec Hadoop, ou aucune compression de données. La compression Snappy, Zip et Snappy compatible avec Hadoop n'est pas disponible pour les flux de diffusion dont Amazon Redshift est la destination.

    Format d'extension de fichier S3 (facultatif)

    Format d'extension de fichier S3 (facultatif) : spécifiez un format d'extension de fichier pour les objets livrés au compartiment de destination Amazon S3. Si vous activez cette fonctionnalité, l'extension de fichier spécifiée remplacera les extensions de fichier par défaut ajoutées par les fonctionnalités de conversion de format de données ou de compression S3 telles que .parquet ou .gz. Assurez-vous d'avoir configuré la bonne extension de fichier lorsque vous utilisez cette fonctionnalité avec la conversion de format de données ou la compression S3. L'extension de fichier doit commencer par un point (.) et peut contenir les caractères autorisés : 0-9a-z ! -_.*' (). L'extension de fichier ne peut pas dépasser 128 caractères.

    Chiffrement S3

    Firehose prend en charge le chiffrement côté serveur Amazon S3 avec AWS Key Management Service (SSE-KMS) pour chiffrer les données livrées dans Amazon S3. Vous pouvez choisir d'utiliser le type de chiffrement par défaut spécifié dans le compartiment S3 de destination ou de chiffrer avec une clé de la liste des AWS KMS clés que vous possédez. Si vous chiffrez les données à l'aide de AWS KMS clés, vous pouvez utiliser la clé AWS gérée par défaut (aws/s3) ou une clé gérée par le client. Pour plus d'informations, voir Protection des données à l'aide du chiffrement côté serveur avec des clés AWS gérées par KMS (SSE-KMS).

Choisissez le OpenSearch service adapté à votre destination

Cette section décrit les options d'utilisation OpenSearch du Service pour votre destination.

  • Saisissez des valeurs pour les champs suivants :

    OpenSearch Domaine de service

    Le domaine de OpenSearch service vers lequel vos données sont livrées.

    Index

    Le nom OpenSearch de l'index de service à utiliser lors de l'indexation des données dans votre cluster OpenSearch de services.

    Index rotation

    Choisissez si et à quelle fréquence l'index OpenSearch de service doit être pivoté. Si la rotation de l'index est activée, Amazon Data Firehose ajoute l'horodatage correspondant au nom d'index spécifié et effectue une rotation. Pour plus d’informations, consultez Rotation de l'index pour la destination du OpenSearch service.

    Type

    Le nom du type de OpenSearch service à utiliser lors de l'indexation des données dans votre cluster OpenSearch de services. Pour Elasticsearch 7.x et OpenSearch 1.x, il ne peut y avoir qu'un seul type par index. Si vous essayez de spécifier un nouveau type pour un index existant qui possède déjà un autre type, Firehose renvoie une erreur lors de l'exécution.

    Pour Elasticsearch 7.x, laissez ce champ vide.

    Retry duration (Durée de la nouvelle tentative)

    Durée pendant laquelle Firehose doit réessayer en cas d'échec d'une demande d'index. OpenSearch Dans ce cas, Firehose réessaie toutes les 5 minutes jusqu'à expiration du délai de réessai. Pour la durée de la nouvelle tentative, vous pouvez définir une valeur comprise entre 0 et 7 200 secondes.

    Une fois le délai de nouvelle tentative expiré, Firehose fournit les données à Dead Letter Queue (DLQ), un compartiment d'erreur S3 configuré. Pour les données transmises à DLQ, vous devez rediriger les données du compartiment d'erreur S3 configuré vers OpenSearch leur destination.

    Si vous souhaitez empêcher Firehose Stream de fournir des données à DLQ en raison d'une interruption de service ou de la maintenance de OpenSearch clusters, vous pouvez configurer la durée des nouvelles tentatives à une valeur plus élevée en secondes. Vous pouvez augmenter la durée de la nouvelle tentative ci-dessus à 7200 secondes en contactant le AWS support.

    Type de DocumentID

    Indique la méthode de configuration de l'ID du document. Les méthodes prises en charge sont l'ID de document généré par Firehose et l'ID de document généré par le OpenSearch Service. L'ID de document généré par Firehose est l'option par défaut lorsque la valeur de l'ID de document n'est pas définie. OpenSearchL'ID de document généré par le service est l'option recommandée car elle prend en charge les opérations nécessitant beaucoup d'écriture, notamment l'analyse des journaux et l'observabilité, consommant ainsi moins de ressources CPU dans le domaine des OpenSearch services et améliorant ainsi les performances.

    Connectivité du VPC de destination

    Si votre domaine OpenSearch de service se trouve dans un VPC privé, utilisez cette section pour spécifier ce VPC. Spécifiez également les sous-réseaux et sous-groupes que vous souhaitez qu'Amazon Data Firehose utilise lorsqu'il envoie des données à votre domaine de service. OpenSearch Vous pouvez utiliser les mêmes groupes de sécurité que ceux utilisés par le domaine de OpenSearch service. Si vous spécifiez différents groupes de sécurité, assurez-vous qu'ils autorisent le trafic HTTPS sortant vers le groupe de sécurité du domaine de OpenSearch service. Assurez-vous également que le groupe de sécurité du domaine de OpenSearch service autorise le trafic HTTPS provenant des groupes de sécurité que vous avez spécifiés lors de la configuration de votre flux Firehose. Si vous utilisez le même groupe de sécurité pour votre stream Firehose et pour le domaine de OpenSearch service, assurez-vous que la règle entrante du groupe de sécurité autorise le trafic HTTPS. Pour plus d'informations sur les règles des groupes de sécurité, consultez Règles des groupes de sécurité dans la documentation Amazon VPC.

    Important

    Lorsque vous spécifiez des sous-réseaux pour fournir des données à la destination dans un VPC privé, assurez-vous de disposer d'un nombre suffisant d'adresses IP libres dans les sous-réseaux sélectionnés. Si aucune adresse IP gratuite n'est disponible dans un sous-réseau spécifié, Firehose ne peut pas créer ou ajouter d'ENI pour la livraison des données dans le VPC privé, et la livraison sera dégradée ou échouera.

    Indices de mémoire tampon

    Amazon Data Firehose met en mémoire tampon les données entrantes avant de les livrer à la destination spécifiée. La taille de mémoire tampon recommandée pour la destination varie d'un fournisseur de services à l'autre.

Choisissez OpenSearch Serverless pour votre destination

Cette section décrit les options permettant d'utiliser OpenSearch Serverless pour votre destination.

  • Saisissez des valeurs pour les champs suivants :

    OpenSearch Collecte sans serveur

    Le point de terminaison d'un groupe d'index OpenSearch sans serveur auquel vos données sont livrées.

    Index

    Le nom de l'index OpenSearch Serverless à utiliser lors de l'indexation des données dans votre collection OpenSearch Serverless.

    Connectivité du VPC de destination

    Si votre collection OpenSearch Serverless se trouve dans un VPC privé, utilisez cette section pour spécifier ce VPC. Spécifiez également les sous-réseaux et sous-groupes que vous souhaitez qu'Amazon Data Firehose utilise lorsqu'il envoie des données à votre collection Serverless. OpenSearch

    Important

    Lorsque vous spécifiez des sous-réseaux pour fournir des données à la destination dans un VPC privé, assurez-vous de disposer d'un nombre suffisant d'adresses IP libres dans les sous-réseaux sélectionnés. Si aucune adresse IP gratuite n'est disponible dans un sous-réseau spécifié, Firehose ne peut pas créer ou ajouter d'ENI pour la livraison des données dans le VPC privé, et la livraison sera dégradée ou échouera.

    Retry duration (Durée de la nouvelle tentative)

    Durée pendant laquelle Firehose doit réessayer en cas d'échec d'une demande d'index adressée à OpenSearch Serverless. Dans ce cas, Firehose réessaie toutes les 5 minutes jusqu'à expiration du délai de réessai. Pour la durée de la nouvelle tentative, vous pouvez définir une valeur comprise entre 0 et 7 200 secondes.

    Une fois le délai de nouvelle tentative expiré, Firehose fournit les données à Dead Letter Queue (DLQ), un compartiment d'erreur S3 configuré. Pour les données transmises à DLQ, vous devez rediriger les données du compartiment d'erreur S3 configuré vers une destination OpenSearch sans serveur.

    Si vous souhaitez empêcher Firehose Stream de fournir des données à DLQ en raison d'une interruption de service ou de la maintenance de clusters OpenSearch sans serveur, vous pouvez configurer la durée des nouvelles tentatives à une valeur plus élevée en secondes. Vous pouvez augmenter la durée de la nouvelle tentative ci-dessus à 7200 secondes en contactant le AWS support.

    Indices de mémoire tampon

    Amazon Data Firehose met en mémoire tampon les données entrantes avant de les livrer à la destination spécifiée. La taille de mémoire tampon recommandée pour la destination varie d'un fournisseur de services à l'autre.

Choisir le point de terminaison HTTP pour votre destination

Cette section décrit les options dont vous disposez pour utiliser le point de terminaison HTTP comme destination.

Important

Si vous choisissez un point de terminaison HTTP comme destination, consultez et suivez les instructions figurant dans Annexe : spécifications des demandes et réponses de livraison de points de terminaison HTTP.

  • Fournissez des valeurs pour les champs suivants :

    Nom du point de terminaison HTTP : facultatif

    Spécifiez un nom convivial pour le point de terminaison HTTP. Par exemple, My HTTP Endpoint Destination.

    URL du point de terminaison HTTP

    Spécifiez l'URL du point de terminaison HTTP au format suivant : https://xyz.httpendpoint.com. L'URL doit être une URL HTTPS.

    Clé d'accès – facultatif

    Contactez le propriétaire du terminal pour obtenir la clé d'accès (si nécessaire) afin de permettre la livraison de données à son point de terminaison depuis Firehose.

    Encodage de contenu

    Amazon Data Firehose utilise le codage du contenu pour compresser le corps d'une demande avant de l'envoyer à la destination. Choisissez GZIP ou Désactivé pour activer/désactiver le codage du contenu de votre demande.

    Retry duration (Durée de la nouvelle tentative)

    Spécifiez la durée pendant laquelle Amazon Data Firehose tente à nouveau d'envoyer des données au point de terminaison HTTP sélectionné.

    Après avoir envoyé les données, Amazon Data Firehose attend d'abord un accusé de réception de la part du point de terminaison HTTP. Si une erreur se produit ou si l'accusé de réception n'arrive pas dans le délai imparti, Amazon Data Firehose lance le compteur de durée des nouvelles tentatives. Il effectue de nouvelles tentatives jusqu'à ce que la durée des nouvelles tentatives arrive à expiration. Après cela, Amazon Data Firehose considère qu'il s'agit d'un échec de livraison des données et sauvegarde les données dans votre compartiment Amazon S3.

    Chaque fois qu'Amazon Data Firehose envoie des données au point de terminaison HTTP (tentative initiale ou nouvelle tentative), il redémarre le compteur de délais d'accusé de réception et attend un accusé de réception de la part du point de terminaison HTTP.

    Même si la durée de la nouvelle tentative expire, Amazon Data Firehose attend toujours l'accusé de réception jusqu'à ce qu'il le reçoive ou que le délai d'expiration de l'accusé de réception soit atteint. Si l'accusé de réception expire, Amazon Data Firehose détermine s'il reste du temps dans le compteur de nouvelles tentatives. Si c'est le cas, il réitère les tentatives et répète la logique jusqu'à ce qu'il reçoive un accusé de réception ou qu'il détermine que le délai imparti pour les nouvelles tentatives est arrivé à son terme.

    Si vous ne souhaitez pas qu'Amazon Data Firehose essaie à nouveau d'envoyer des données, définissez cette valeur sur 0.

    Paramètres – facultatif

    Amazon Data Firehose inclut ces paires clé-valeur dans chaque appel HTTP. Ces paramètres peuvent vous aider à identifier et organiser vos destinations.

    Conseils de mise en mémoire tampon

    Amazon Data Firehose met en mémoire tampon les données entrantes avant de les livrer à la destination spécifiée. La taille de mémoire tampon recommandée pour la destination varie d'un fournisseur de services à l'autre.

    Important

    Pour les destinations du point de terminaison HTTP, si 413 codes de réponse proviennent du point de terminaison de destination dans CloudWatch Logs, réduisez la taille de l'indicateur de mise en mémoire tampon sur votre flux Firehose et réessayez.

Choisir Datadog pour votre destination

Cette section décrit les options dont vous disposez pour utiliser Datadog comme destination. Pour plus d'informations sur Datadog, consultez https://docs.datadoghq.com/integrations/amazon_web_services/.

  • Fournissez des valeurs pour les champs suivants :

    URL du point de terminaison HTTP

    Choisissez l'URL du point de terminaison HTTP parmi les options suivantes du menu déroulant :

    • Journaux Datadog – US1

    • Journaux Datadog – US5

    • Journaux Datadog – EU

    • Journaux Datadog – GOV

    • Métriques Datadog – US

    • Métriques Datadog – EU

    Clé API

    Contactez Datadog pour obtenir la clé d'API requise pour permettre la livraison de données vers ce point de terminaison depuis Amazon Data Firehose.

    Encodage de contenu

    Amazon Data Firehose utilise le codage du contenu pour compresser le corps d'une demande avant de l'envoyer à la destination. Choisissez GZIP ou Désactivé pour activer/désactiver le codage du contenu de votre demande.

    Retry duration (Durée de la nouvelle tentative)

    Spécifiez la durée pendant laquelle Amazon Data Firehose tente à nouveau d'envoyer des données au point de terminaison HTTP sélectionné.

    Après avoir envoyé les données, Amazon Data Firehose attend d'abord un accusé de réception de la part du point de terminaison HTTP. Si une erreur se produit ou si l'accusé de réception n'arrive pas dans le délai imparti, Amazon Data Firehose lance le compteur de durée des nouvelles tentatives. Il effectue de nouvelles tentatives jusqu'à ce que la durée des nouvelles tentatives arrive à expiration. Après cela, Amazon Data Firehose considère qu'il s'agit d'un échec de livraison des données et sauvegarde les données dans votre compartiment Amazon S3.

    Chaque fois qu'Amazon Data Firehose envoie des données au point de terminaison HTTP (tentative initiale ou nouvelle tentative), il redémarre le compteur de délais d'accusé de réception et attend un accusé de réception de la part du point de terminaison HTTP.

    Même si la durée de la nouvelle tentative expire, Amazon Data Firehose attend toujours l'accusé de réception jusqu'à ce qu'il le reçoive ou que le délai d'expiration de l'accusé de réception soit atteint. Si l'accusé de réception expire, Amazon Data Firehose détermine s'il reste du temps dans le compteur de nouvelles tentatives. Si c'est le cas, il réitère les tentatives et répète la logique jusqu'à ce qu'il reçoive un accusé de réception ou qu'il détermine que le délai imparti pour les nouvelles tentatives est arrivé à son terme.

    Si vous ne souhaitez pas qu'Amazon Data Firehose essaie à nouveau d'envoyer des données, définissez cette valeur sur 0.

    Paramètres – facultatif

    Amazon Data Firehose inclut ces paires clé-valeur dans chaque appel HTTP. Ces paramètres peuvent vous aider à identifier et organiser vos destinations.

    Conseils de mise en mémoire tampon

    Amazon Data Firehose met en mémoire tampon les données entrantes avant de les livrer à la destination spécifiée. La taille de mémoire tampon recommandée pour la destination varie d'un fournisseur de services à l'autre.

Choisir Honeycomb pour votre destination

Cette section décrit les options dont vous disposez pour utiliser Honeycomb comme destination. Pour plus d'informations sur Honeycomb, consultez https://docs.honeycomb.io/ getting-data-in aws-cloudwatch-metrics /metrics//.

  • Fournissez des valeurs pour les champs suivants :

    Point de terminaison Kinesis Honeycomb

    Spécifiez l'URL du point de terminaison HTTP au format suivant : https://api.honeycomb.io/1/kinesis_events/{{dataset}}

    Clé API

    Contactez Honeycomb pour obtenir la clé d'API requise pour permettre la livraison de données vers ce point de terminaison depuis Amazon Data Firehose.

    Encodage de contenu

    Amazon Data Firehose utilise le codage du contenu pour compresser le corps d'une demande avant de l'envoyer à la destination. Choisissez GZIP pour activer le codage du contenu de votre demande. Il s'agit là de l'option recommandée pour la destination Honeycomb.

    Retry duration (Durée de la nouvelle tentative)

    Spécifiez la durée pendant laquelle Amazon Data Firehose tente à nouveau d'envoyer des données au point de terminaison HTTP sélectionné.

    Après avoir envoyé les données, Amazon Data Firehose attend d'abord un accusé de réception de la part du point de terminaison HTTP. Si une erreur se produit ou si l'accusé de réception n'arrive pas dans le délai imparti, Amazon Data Firehose lance le compteur de durée des nouvelles tentatives. Il effectue de nouvelles tentatives jusqu'à ce que la durée des nouvelles tentatives arrive à expiration. Après cela, Amazon Data Firehose considère qu'il s'agit d'un échec de livraison des données et sauvegarde les données dans votre compartiment Amazon S3.

    Chaque fois qu'Amazon Data Firehose envoie des données au point de terminaison HTTP (tentative initiale ou nouvelle tentative), il redémarre le compteur de délais d'accusé de réception et attend un accusé de réception de la part du point de terminaison HTTP.

    Même si la durée de la nouvelle tentative expire, Amazon Data Firehose attend toujours l'accusé de réception jusqu'à ce qu'il le reçoive ou que le délai d'expiration de l'accusé de réception soit atteint. Si l'accusé de réception expire, Amazon Data Firehose détermine s'il reste du temps dans le compteur de nouvelles tentatives. Si c'est le cas, il réitère les tentatives et répète la logique jusqu'à ce qu'il reçoive un accusé de réception ou qu'il détermine que le délai imparti pour les nouvelles tentatives est arrivé à son terme.

    Si vous ne souhaitez pas qu'Amazon Data Firehose essaie à nouveau d'envoyer des données, définissez cette valeur sur 0.

    Paramètres – facultatif

    Amazon Data Firehose inclut ces paires clé-valeur dans chaque appel HTTP. Ces paramètres peuvent vous aider à identifier et organiser vos destinations.

    Conseils de mise en mémoire tampon

    Amazon Data Firehose met en mémoire tampon les données entrantes avant de les livrer à la destination spécifiée. La taille de mémoire tampon recommandée pour la destination varie d'un fournisseur de services à l'autre.

Choisir Coralogix pour votre destination

Cette section décrit les options dont vous disposez pour utiliser Coralogix comme destination. Pour plus d'informations sur Coralogix, consultez https://coralogix.com/integrations/aws-firehose.

  • Fournissez des valeurs pour les champs suivants :

    URL du point de terminaison HTTP

    Choisissez l'URL du point de terminaison HTTP parmi les options suivantes du menu déroulant :

    • Coralogix – États-Unis

    • Coralogix – SINGAPOUR

    • Coralogix – IRLANDE

    • Coralogix – INDE

    • Coralogix – STOCKHOLM

    Clé privée

    Contactez Coralogix pour obtenir la clé privée requise pour permettre la livraison de données à ce point de terminaison depuis Amazon Data Firehose.

    Encodage de contenu

    Amazon Data Firehose utilise le codage du contenu pour compresser le corps d'une demande avant de l'envoyer à la destination. Choisissez GZIP pour activer le codage du contenu de votre demande. Il s'agit là de l'option recommandée pour la destination Coralogix.

    Retry duration (Durée de la nouvelle tentative)

    Spécifiez la durée pendant laquelle Amazon Data Firehose tente à nouveau d'envoyer des données au point de terminaison HTTP sélectionné.

    Après avoir envoyé les données, Amazon Data Firehose attend d'abord un accusé de réception de la part du point de terminaison HTTP. Si une erreur se produit ou si l'accusé de réception n'arrive pas dans le délai imparti, Amazon Data Firehose lance le compteur de durée des nouvelles tentatives. Il effectue de nouvelles tentatives jusqu'à ce que la durée des nouvelles tentatives arrive à expiration. Après cela, Amazon Data Firehose considère qu'il s'agit d'un échec de livraison des données et sauvegarde les données dans votre compartiment Amazon S3.

    Chaque fois qu'Amazon Data Firehose envoie des données au point de terminaison HTTP (tentative initiale ou nouvelle tentative), il redémarre le compteur de délais d'accusé de réception et attend un accusé de réception de la part du point de terminaison HTTP.

    Même si la durée de la nouvelle tentative expire, Amazon Data Firehose attend toujours l'accusé de réception jusqu'à ce qu'il le reçoive ou que le délai d'expiration de l'accusé de réception soit atteint. Si l'accusé de réception expire, Amazon Data Firehose détermine s'il reste du temps dans le compteur de nouvelles tentatives. Si c'est le cas, il réitère les tentatives et répète la logique jusqu'à ce qu'il reçoive un accusé de réception ou qu'il détermine que le délai imparti pour les nouvelles tentatives est arrivé à son terme.

    Si vous ne souhaitez pas qu'Amazon Data Firehose essaie à nouveau d'envoyer des données, définissez cette valeur sur 0.

    Paramètres – facultatif

    Amazon Data Firehose inclut ces paires clé-valeur dans chaque appel HTTP. Ces paramètres peuvent vous aider à identifier et organiser vos destinations.

    • applicationName : l'environnement dans lequel vous exécutez Data Firehose

    • subsystemName : le nom de l'intégration Data Firehose

    • ComputerName : le nom du stream Firehose utilisé

    Conseils de mise en mémoire tampon

    Amazon Data Firehose met en mémoire tampon les données entrantes avant de les livrer à la destination spécifiée. La taille de mémoire tampon recommandée pour la destination varie d'un fournisseur de services à l'autre.

Choisissez Dynatrace pour votre destination

Cette section décrit les options dont vous disposez pour utiliser Dynatrace comme destination. Pour plus d'informations, consultez https://www.dynatrace.com/support/help/technology-support/cloud-platforms/ amazon-web-services cloudwatch-metric-streams /integrations//.

  • Choisissez les options pour utiliser Dynatrace comme destination pour votre flux de diffusion Firehose :

    Type d'ingestion

    Choisissez si vous souhaitez fournir des métriques ou des journaux (par défaut) dans Dynatrace pour une analyse et un traitement plus approfondis.

    URL du point de terminaison HTTP

    Choisissez l'URL du point de terminaison HTTP (Dynatrace US, Dynatrace EU ou Dynatrace Global) dans le menu déroulant.

    Jeton d'API

    Générez le jeton d'API Dynatrace requis pour la livraison de données depuis Firehose. Pour plus d'informations sur la façon de générer ce jeton, consultez l'API Dynatrace - Tokens et authentification.

    URL de l'API

    Fournissez l'URL de l'API de votre environnement Dynatrace.

    Encodage de contenu

    Choisissez si vous souhaitez activer le codage du contenu pour compresser le corps de la demande. Amazon Data Firehose utilise le codage du contenu pour compresser le corps d'une demande avant de l'envoyer à la destination. Lorsque cette option est activée, le contenu est compressé au format GZIP.

    Retry duration (Durée de la nouvelle tentative)

    Spécifiez la durée pendant laquelle Firehose tente à nouveau d'envoyer des données au point de terminaison HTTP sélectionné.

    Après avoir envoyé des données, Firehose attend d'abord un accusé de réception du point de terminaison HTTP. Si une erreur se produit ou si l'accusé de réception n'arrive pas dans le délai imparti, Firehose lance le compteur de durée des nouvelles tentatives. Il effectue de nouvelles tentatives jusqu'à ce que la durée des nouvelles tentatives arrive à expiration. Ensuite, Firehose considère qu'il s'agit d'un échec de livraison des données et sauvegarde les données dans votre compartiment Amazon S3.

    Chaque fois que Firehose envoie des données au point de terminaison HTTP, que ce soit lors de la tentative initiale ou après une nouvelle tentative, il redémarre le compteur de délais d'accusé de réception et attend un accusé de réception du point de terminaison HTTP.

    Même si la durée de la nouvelle tentative expire, Firehose attend toujours l'accusé de réception jusqu'à ce qu'il le reçoive ou que le délai d'expiration de l'accusé de réception soit atteint. Si l'accusé de réception expire, Firehose détermine s'il reste du temps dans le compteur de nouvelles tentatives. Si c'est le cas, il réitère les tentatives et répète la logique jusqu'à ce qu'il reçoive un accusé de réception ou qu'il détermine que le délai imparti pour les nouvelles tentatives est arrivé à son terme.

    Si vous ne voulez pas que Firehose essaie à nouveau d'envoyer des données, définissez cette valeur sur 0.

    Paramètres – facultatif

    Amazon Data Firehose inclut ces paires clé-valeur dans chaque appel HTTP. Ces paramètres peuvent vous aider à identifier et organiser vos destinations.

    Conseils de mise en mémoire tampon

    Amazon Data Firehose met en mémoire tampon les données entrantes avant de les livrer à la destination spécifiée. Les indications relatives à la mémoire tampon incluent la taille de la mémoire tampon et l'intervalle de vos flux. La taille de mémoire tampon recommandée pour la destination varie en fonction du fournisseur de services.

Choisissez LogicMonitor votre destination

Cette section décrit les options à utiliser LogicMonitorpour votre destination. Pour plus d'informations, consultez https://www.logicmonitor.com.

  • Fournissez des valeurs pour les champs suivants :

    URL du point de terminaison HTTP

    Spécifiez l'URL du point de terminaison HTTP au format suivant : https://ACCOUNT.logicmonitor.com

    Clé API

    Contactez-nous LogicMonitor pour obtenir la clé d'API requise pour permettre la livraison de données vers ce point de terminaison depuis Amazon Data Firehose.

    Encodage de contenu

    Amazon Data Firehose utilise le codage du contenu pour compresser le corps d'une demande avant de l'envoyer à la destination. Choisissez GZIP ou Désactivé pour activer/désactiver le codage du contenu de votre demande.

    Retry duration (Durée de la nouvelle tentative)

    Spécifiez la durée pendant laquelle Amazon Data Firehose tente à nouveau d'envoyer des données au point de terminaison HTTP sélectionné.

    Après avoir envoyé les données, Amazon Data Firehose attend d'abord un accusé de réception de la part du point de terminaison HTTP. Si une erreur se produit ou si l'accusé de réception n'arrive pas dans le délai imparti, Amazon Data Firehose lance le compteur de durée des nouvelles tentatives. Il effectue de nouvelles tentatives jusqu'à ce que la durée des nouvelles tentatives arrive à expiration. Après cela, Amazon Data Firehose considère qu'il s'agit d'un échec de livraison des données et sauvegarde les données dans votre compartiment Amazon S3.

    Chaque fois qu'Amazon Data Firehose envoie des données au point de terminaison HTTP (tentative initiale ou nouvelle tentative), il redémarre le compteur de délais d'accusé de réception et attend un accusé de réception de la part du point de terminaison HTTP.

    Même si la durée de la nouvelle tentative expire, Amazon Data Firehose attend toujours l'accusé de réception jusqu'à ce qu'il le reçoive ou que le délai d'expiration de l'accusé de réception soit atteint. Si l'accusé de réception expire, Amazon Data Firehose détermine s'il reste du temps dans le compteur de nouvelles tentatives. Si c'est le cas, il réitère les tentatives et répète la logique jusqu'à ce qu'il reçoive un accusé de réception ou qu'il détermine que le délai imparti pour les nouvelles tentatives est arrivé à son terme.

    Si vous ne souhaitez pas qu'Amazon Data Firehose essaie à nouveau d'envoyer des données, définissez cette valeur sur 0.

    Paramètres – facultatif

    Amazon Data Firehose inclut ces paires clé-valeur dans chaque appel HTTP. Ces paramètres peuvent vous aider à identifier et organiser vos destinations.

    Conseils de mise en mémoire tampon

    Amazon Data Firehose met en mémoire tampon les données entrantes avant de les livrer à la destination spécifiée. La taille de mémoire tampon recommandée pour la destination varie d'un fournisseur de services à l'autre.

Choisir Logz.io pour votre destination

Cette section décrit les options dont vous disposez pour utiliser Logz.io comme destination. Pour plus d'informations, consultez https://logz.io/.

Note

Dans la région Europe (Milan), Logz.io n'est pas pris en charge en tant que destination Amazon Data Firehose.

  • Fournissez des valeurs pour les champs suivants :

    URL du point de terminaison HTTP

    Spécifiez l'URL du point de terminaison HTTP au format suivant : https://listener-aws-metrics-stream-<region>.logz.io/. Par exemple, https://listener-aws-metrics-stream-us.logz.io/. L'URL doit être une URL HTTPS.

    Encodage de contenu

    Amazon Data Firehose utilise le codage du contenu pour compresser le corps d'une demande avant de l'envoyer à la destination. Choisissez GZIP ou Désactivé pour activer/désactiver le codage du contenu de votre demande.

    Retry duration (Durée de la nouvelle tentative)

    Spécifiez la durée pendant laquelle Amazon Data Firehose tente à nouveau d'envoyer des données à Logz.io.

    Après avoir envoyé les données, Amazon Data Firehose attend d'abord un accusé de réception de la part du point de terminaison HTTP. Si une erreur se produit ou si l'accusé de réception n'arrive pas dans le délai imparti, Amazon Data Firehose lance le compteur de durée des nouvelles tentatives. Il effectue de nouvelles tentatives jusqu'à ce que la durée des nouvelles tentatives arrive à expiration. Après cela, Amazon Data Firehose considère qu'il s'agit d'un échec de livraison des données et sauvegarde les données dans votre compartiment Amazon S3.

    Chaque fois qu'Amazon Data Firehose envoie des données au point de terminaison HTTP (tentative initiale ou nouvelle tentative), il redémarre le compteur de délais d'accusé de réception et attend un accusé de réception de la part du point de terminaison HTTP.

    Même si la durée de la nouvelle tentative expire, Amazon Data Firehose attend toujours l'accusé de réception jusqu'à ce qu'il le reçoive ou que le délai d'expiration de l'accusé de réception soit atteint. Si l'accusé de réception expire, Amazon Data Firehose détermine s'il reste du temps dans le compteur de nouvelles tentatives. Si c'est le cas, il réitère les tentatives et répète la logique jusqu'à ce qu'il reçoive un accusé de réception ou qu'il détermine que le délai imparti pour les nouvelles tentatives est arrivé à son terme.

    Si vous ne souhaitez pas qu'Amazon Data Firehose essaie à nouveau d'envoyer des données, définissez cette valeur sur 0.

    Paramètres – facultatif

    Amazon Data Firehose inclut ces paires clé-valeur dans chaque appel HTTP. Ces paramètres peuvent vous aider à identifier et organiser vos destinations.

    Conseils de mise en mémoire tampon

    Amazon Data Firehose met en mémoire tampon les données entrantes avant de les livrer à la destination spécifiée. La taille de mémoire tampon recommandée pour la destination varie d'un fournisseur de services à l'autre.

Choisir MongoDB Cloud pour votre destination

Cette section décrit les options dont vous disposez pour utiliser MongoDB Cloud comme destination. Pour plus d'informations, consultez https://www.mongodb.com.

  • Fournissez des valeurs pour les champs suivants :

    URL du webhook MongoDB Realm

    Spécifiez l'URL du point de terminaison HTTP au format suivant : https://webhooks.mongodb-realm.com. L'URL doit être une URL HTTPS.

    Clé API

    Contactez MongoDB Cloud pour obtenir la clé d'API requise pour permettre la livraison de données à ce point de terminaison depuis Amazon Data Firehose.

    Encodage de contenu

    Amazon Data Firehose utilise le codage du contenu pour compresser le corps d'une demande avant de l'envoyer à la destination. Choisissez GZIP ou Désactivé pour activer/désactiver le codage du contenu de votre demande.

    Retry duration (Durée de la nouvelle tentative)

    Spécifiez la durée pendant laquelle Amazon Data Firehose tente à nouveau d'envoyer des données au fournisseur tiers sélectionné.

    Après avoir envoyé les données, Amazon Data Firehose attend d'abord un accusé de réception de la part du point de terminaison HTTP. Si une erreur se produit ou si l'accusé de réception n'arrive pas dans le délai imparti, Amazon Data Firehose lance le compteur de durée des nouvelles tentatives. Il effectue de nouvelles tentatives jusqu'à ce que la durée des nouvelles tentatives arrive à expiration. Après cela, Amazon Data Firehose considère qu'il s'agit d'un échec de livraison des données et sauvegarde les données dans votre compartiment Amazon S3.

    Chaque fois qu'Amazon Data Firehose envoie des données au point de terminaison HTTP (tentative initiale ou nouvelle tentative), il redémarre le compteur de délais d'accusé de réception et attend un accusé de réception de la part du point de terminaison HTTP.

    Même si la durée de la nouvelle tentative expire, Amazon Data Firehose attend toujours l'accusé de réception jusqu'à ce qu'il le reçoive ou que le délai d'expiration de l'accusé de réception soit atteint. Si l'accusé de réception expire, Amazon Data Firehose détermine s'il reste du temps dans le compteur de nouvelles tentatives. Si c'est le cas, il réitère les tentatives et répète la logique jusqu'à ce qu'il reçoive un accusé de réception ou qu'il détermine que le délai imparti pour les nouvelles tentatives est arrivé à son terme.

    Si vous ne souhaitez pas qu'Amazon Data Firehose essaie à nouveau d'envoyer des données, définissez cette valeur sur 0.

    Conseils de mise en mémoire tampon

    Amazon Data Firehose met en mémoire tampon les données entrantes avant de les livrer à la destination spécifiée. La taille de mémoire tampon recommandée pour la destination varie d'un fournisseur de services à l'autre.

    Paramètres – facultatif

    Amazon Data Firehose inclut ces paires clé-valeur dans chaque appel HTTP. Ces paramètres peuvent vous aider à identifier et organiser vos destinations.

Choisir New Relic pour votre destination

Cette section décrit les options dont vous disposez pour utiliser New Relic comme destination. Pour plus d'informations, consultez https://newrelic.com.

  • Fournissez des valeurs pour les champs suivants :

    URL du point de terminaison HTTP

    Choisissez l'URL du point de terminaison HTTP parmi les options suivantes du menu déroulant :

    • Journaux New Relic – US

    • Métriques New Relic – US

    • Métriques New Relic – EU

    Clé API

    Saisissez votre clé de licence (chaîne hexadécimale de 40 caractères) dans les paramètres de votre compte New Relic One. Cette clé d'API est requise pour permettre la livraison de données à ce point de terminaison depuis Firehose.

    Encodage de contenu

    Amazon Data Firehose utilise le codage du contenu pour compresser le corps d'une demande avant de l'envoyer à la destination. Choisissez GZIP ou Désactivé pour activer/désactiver le codage du contenu de votre demande.

    Retry duration (Durée de la nouvelle tentative)

    Spécifiez la durée pendant laquelle Amazon Data Firehose tente à nouveau d'envoyer des données au point de terminaison HTTP New Relic.

    Après avoir envoyé les données, Amazon Data Firehose attend d'abord un accusé de réception de la part du point de terminaison HTTP. Si une erreur se produit ou si l'accusé de réception n'arrive pas dans le délai imparti, Amazon Data Firehose lance le compteur de durée des nouvelles tentatives. Il effectue de nouvelles tentatives jusqu'à ce que la durée des nouvelles tentatives arrive à expiration. Après cela, Amazon Data Firehose considère qu'il s'agit d'un échec de livraison des données et sauvegarde les données dans votre compartiment Amazon S3.

    Chaque fois qu'Amazon Data Firehose envoie des données au point de terminaison HTTP (tentative initiale ou nouvelle tentative), il redémarre le compteur de délais d'accusé de réception et attend un accusé de réception de la part du point de terminaison HTTP.

    Même si la durée de la nouvelle tentative expire, Amazon Data Firehose attend toujours l'accusé de réception jusqu'à ce qu'il le reçoive ou que le délai d'expiration de l'accusé de réception soit atteint. Si l'accusé de réception expire, Amazon Data Firehose détermine s'il reste du temps dans le compteur de nouvelles tentatives. Si c'est le cas, il réitère les tentatives et répète la logique jusqu'à ce qu'il reçoive un accusé de réception ou qu'il détermine que le délai imparti pour les nouvelles tentatives est arrivé à son terme.

    Si vous ne souhaitez pas qu'Amazon Data Firehose essaie à nouveau d'envoyer des données, définissez cette valeur sur 0.

    Paramètres – facultatif

    Amazon Data Firehose inclut ces paires clé-valeur dans chaque appel HTTP. Ces paramètres peuvent vous aider à identifier et organiser vos destinations.

    Conseils de mise en mémoire tampon

    Amazon Data Firehose met en mémoire tampon les données entrantes avant de les livrer à la destination spécifiée. La taille de mémoire tampon recommandée pour la destination varie d'un fournisseur de services à l'autre.

Choisissez Snowflake pour votre destination

Cette section décrit les options d'utilisation de Snowflake pour votre destination.

Note

L'intégration de Firehose à Snowflake est disponible dans l'est des États-Unis (Virginie du Nord), dans l'ouest des États-Unis (Oregon), en Europe (Irlande), dans l'est des États-Unis (Ohio), en Asie-Pacifique (Tokyo) et en Europe (Francfort). Régions AWS

Réglages de connexion

  • Fournissez des valeurs pour les champs suivants :

    URL du compte Snowflake

    Spécifiez l'URL d'un compte Snowflake. Par exemple : xy12345.us-east-1.aws.snowflakecomputing.com. Reportez-vous à la documentation de Snowflake pour savoir comment déterminer l'URL de votre compte. Notez que vous ne devez pas spécifier le numéro de port, alors que le protocole (https ://) est facultatif.

    Login utilisateur

    Spécifiez l'utilisateur Snowflake à utiliser pour le chargement des données. Assurez-vous que l'utilisateur a accès pour insérer des données dans la table Snowflake.

    Clé privée

    Spécifiez la clé privée de l'utilisateur ou la paire de clés utilisée pour l'authentification avec Snowflake. Assurez-vous que la clé privée est au format PKCS8. N'incluez pas l'en-tête et le pied de page PEM dans la clé privée. Si la clé est divisée sur plusieurs lignes, supprimez les sauts de ligne.

    Passphrase (Phrase secrète)

    Phrase secrète pour déchiffrer la clé privée lorsque celle-ci est chiffrée. Laissez ce champ vide si la clé privée n'est pas cryptée. Pour plus d'informations, consultez la section Utilisation de l'authentification par paire de clés et de la rotation des clés.

    Configuration des rôles

    Utiliser le rôle Snowflake par défaut — Si cette option est sélectionnée, Firehose ne transmettra aucun rôle à Snowflake. Le rôle par défaut est supposé charger les données. Assurez-vous que le rôle par défaut est autorisé à insérer des données dans la table Snowflake.

    Utiliser un rôle Snowflake personnalisé — Entrez un rôle Snowflake autre que celui par défaut à assumer par Firehose lors du chargement de données dans la table Snowflake.

    Connectivité Snowflake

    Les options sont privées ou publiques.

    ID VPCE privé (facultatif)

    L'identifiant VPCE permettant à Firehose de se connecter en privé à Snowflake. Le format de l'identifiant est com.amazonaws.vpce. [région] .vpce-svc- [identifiant]. Pour plus d'informations, voir AWS PrivateLink & Snowflake.

    Note

    Assurez-vous que votre réseau Snowflake autorise l'accès à Firehose. Pour y accéder, contactez AWS Support pour ajouter un point de terminaison Firehose VPC à votre liste d'autorisation ou envisagez de désactiver la politique réseau sur votre cluster Snowflake.

Configuration de base de données

  • Vous devez spécifier les paramètres suivants afin d'utiliser Snowflake comme destination pour votre flux de diffusion Firehose :

    • Base de données Snowflake — Toutes les données de Snowflake sont conservées dans des bases de données.

    • Schéma Snowflake : chaque base de données comprend un ou plusieurs schémas, qui sont des regroupements logiques d'objets de base de données, tels que des tables et des vues

    • Table Snowflake — Toutes les données de Snowflake sont stockées dans des tables de base de données, structurées logiquement sous forme de collections de colonnes et de lignes.

Options de chargement des données pour votre table Snowflake

  • Utiliser les clés JSON comme noms de colonnes

  • Utiliser les colonnes VARIANT

    • Nom de la colonne de contenu — Spécifiez un nom de colonne dans le tableau où les données brutes doivent être chargées.

    • Nom de colonne de métadonnées (facultatif) — Spécifiez un nom de colonne dans le tableau où les informations de métadonnées doivent être chargées.

Retry duration (Durée de la nouvelle tentative)

Durée (0 à 7 200 secondes) nécessaire à Firehose pour réessayer si l'ouverture du canal ou la livraison à Snowflake échoue en raison de problèmes de service Snowflake. Firehose réessaie avec un recul exponentiel jusqu'à la fin de la durée de la nouvelle tentative. Si vous définissez la durée de la nouvelle tentative sur 0 (zéro) seconde, Firehose ne réessaie pas en cas d'échec de Snowflake et achemine les données vers le compartiment d'erreur Amazon S3.

Choix d'une destination Splunk

Cette section décrit les options permettant d'utiliser Splunk comme destination.

Note

Firehose fournit des données aux clusters Splunk configurés avec un Classic Load Balancer ou un Application Load Balancer.

  • Fournissez des valeurs pour les champs suivants :

    Splunk cluster endpoint (Point de terminaison de cluster Splunk)

    Pour déterminer le point de terminaison, consultez la section Configurer Amazon Data Firehose pour envoyer des données à la plateforme Splunk dans la documentation Splunk.

    Splunk endpoint type (Type de point de terminaison Splunk)

    Choisissez Raw endpoint dans la plupart des cas. Choisissez Event endpoint si vous avez prétraité vos données en utilisant AWS Lambda pour envoyer des données à différents index par type d'événement. Pour plus d'informations sur le point de terminaison à utiliser, consultez la section Configurer Amazon Data Firehose pour envoyer des données à la plateforme Splunk dans la documentation Splunk.

    Jeton d'authentification

    Pour configurer un point de terminaison Splunk capable de recevoir des données d'Amazon Data Firehose, consultez la section Présentation de l'installation et de la configuration du module complémentaire Splunk pour Amazon Data Firehose dans la documentation Splunk. Enregistrez le jeton que vous recevez de Splunk lorsque vous configurez le point de terminaison pour ce stream Firehose, et ajoutez-le ici.

    HEC acknowledgement timeout (Expiration de l'accusé de réception HEC)

    Spécifiez la durée pendant laquelle Amazon Data Firehose attend l'accusé de réception de l'index par Splunk. Si Splunk n'envoie pas d'accusé de réception avant l'expiration du délai imparti, Amazon Data Firehose considère qu'il s'agit d'un échec de livraison des données. Amazon Data Firehose réessaie ensuite ou sauvegarde les données dans votre compartiment Amazon S3, en fonction de la valeur de durée des tentatives que vous avez définie.

    Retry duration (Durée de la nouvelle tentative)

    Spécifiez la durée pendant laquelle Amazon Data Firehose tente à nouveau d'envoyer des données à Splunk.

    Après avoir envoyé les données, Amazon Data Firehose attend d'abord un accusé de réception de Splunk. Si une erreur se produit ou si l'accusé de réception n'arrive pas dans le délai imparti, Amazon Data Firehose lance le compteur de durée des nouvelles tentatives. Il effectue de nouvelles tentatives jusqu'à ce que la durée des nouvelles tentatives arrive à expiration. Après cela, Amazon Data Firehose considère qu'il s'agit d'un échec de livraison des données et sauvegarde les données dans votre compartiment Amazon S3.

    Chaque fois qu'Amazon Data Firehose envoie des données à Splunk (tentative initiale ou nouvelle tentative), il redémarre le compteur de délais d'accusé de réception et attend un accusé de réception de Splunk.

    Même si la durée de la nouvelle tentative expire, Amazon Data Firehose attend toujours l'accusé de réception jusqu'à ce qu'il le reçoive ou que le délai d'expiration de l'accusé de réception soit atteint. Si l'accusé de réception expire, Amazon Data Firehose détermine s'il reste du temps dans le compteur de nouvelles tentatives. Si c'est le cas, il réitère les tentatives et répète la logique jusqu'à ce qu'il reçoive un accusé de réception ou qu'il détermine que le délai imparti pour les nouvelles tentatives est arrivé à son terme.

    Si vous ne souhaitez pas qu'Amazon Data Firehose essaie à nouveau d'envoyer des données, définissez cette valeur sur 0.

Choisir Splunk Observability Cloud pour votre destination

Cette section décrit les options dont vous disposez pour utiliser Splunk Observability Cloud comme destination. Pour plus d'informations, consultez https://docs.splunk.com/observability/en/gdi/ get-data-in /connect/aws/aws-apiconfig.html # connect-to-aws-using - the-splunk-observability-cloud -api.

  • Fournissez des valeurs pour les champs suivants :

    URL du point de terminaison de l'ingestion dans le Cloud

    Vous pouvez trouver l'URL d'ingestion de données en temps réel de votre Splunk Observability Cloud dans Profil > Organisations > Point de terminaison d'ingestion de données en temps réel dans la console Splunk Observability.

    Jeton d'accès

    Copiez votre jeton d'accès Splunk Observability avec le champ d'autorisation INGEST depuis Paramètres > Jetons d'accès dans la console Splunk Observability

    Encodage de contenu

    Amazon Data Firehose utilise le codage du contenu pour compresser le corps d'une demande avant de l'envoyer à la destination. Choisissez GZIP ou Désactivé pour activer/désactiver le codage du contenu de votre demande.

    Retry duration (Durée de la nouvelle tentative)

    Spécifiez la durée pendant laquelle Amazon Data Firehose tente à nouveau d'envoyer des données au point de terminaison HTTP sélectionné.

    Après avoir envoyé les données, Amazon Data Firehose attend d'abord un accusé de réception de la part du point de terminaison HTTP. Si une erreur se produit ou si l'accusé de réception n'arrive pas dans le délai imparti, Amazon Data Firehose lance le compteur de durée des nouvelles tentatives. Il effectue de nouvelles tentatives jusqu'à ce que la durée des nouvelles tentatives arrive à expiration. Après cela, Amazon Data Firehose considère qu'il s'agit d'un échec de livraison des données et sauvegarde les données dans votre compartiment Amazon S3.

    Chaque fois qu'Amazon Data Firehose envoie des données au point de terminaison HTTP (tentative initiale ou nouvelle tentative), il redémarre le compteur de délais d'accusé de réception et attend un accusé de réception de la part du point de terminaison HTTP.

    Même si la durée de la nouvelle tentative expire, Amazon Data Firehose attend toujours l'accusé de réception jusqu'à ce qu'il le reçoive ou que le délai d'expiration de l'accusé de réception soit atteint. Si l'accusé de réception expire, Amazon Data Firehose détermine s'il reste du temps dans le compteur de nouvelles tentatives. Si c'est le cas, il réitère les tentatives et répète la logique jusqu'à ce qu'il reçoive un accusé de réception ou qu'il détermine que le délai imparti pour les nouvelles tentatives est arrivé à son terme.

    Si vous ne souhaitez pas qu'Amazon Data Firehose essaie à nouveau d'envoyer des données, définissez cette valeur sur 0.

    Paramètres – facultatif

    Amazon Data Firehose inclut ces paires clé-valeur dans chaque appel HTTP. Ces paramètres peuvent vous aider à identifier et organiser vos destinations.

    Conseils de mise en mémoire tampon

    Amazon Data Firehose met en mémoire tampon les données entrantes avant de les livrer à la destination spécifiée. La taille de mémoire tampon recommandée pour la destination varie d'un fournisseur de services à l'autre.

Choisir Sumo Logic pour votre destination

Cette section décrit les options dont vous disposez pour utiliser Sumo Logic comme destination. Pour plus d'informations, consultez https://www.sumologic.com.

  • Fournissez des valeurs pour les champs suivants :

    URL du point de terminaison HTTP

    Spécifiez l'URL du point de terminaison HTTP au format suivant : https://deployment name.sumologic.net/receiver/v1/kinesis/dataType/access token. L'URL doit être une URL HTTPS.

    Encodage de contenu

    Amazon Data Firehose utilise le codage du contenu pour compresser le corps d'une demande avant de l'envoyer à la destination. Choisissez GZIP ou Désactivé pour activer/désactiver le codage du contenu de votre demande.

    Retry duration (Durée de la nouvelle tentative)

    Spécifiez la durée pendant laquelle Amazon Data Firehose tente à nouveau d'envoyer des données à Sumo Logic.

    Après avoir envoyé les données, Amazon Data Firehose attend d'abord un accusé de réception de la part du point de terminaison HTTP. Si une erreur se produit ou si l'accusé de réception n'arrive pas dans le délai imparti, Amazon Data Firehose lance le compteur de durée des nouvelles tentatives. Il effectue de nouvelles tentatives jusqu'à ce que la durée des nouvelles tentatives arrive à expiration. Après cela, Amazon Data Firehose considère qu'il s'agit d'un échec de livraison des données et sauvegarde les données dans votre compartiment Amazon S3.

    Chaque fois qu'Amazon Data Firehose envoie des données au point de terminaison HTTP (tentative initiale ou nouvelle tentative), il redémarre le compteur de délais d'accusé de réception et attend un accusé de réception de la part du point de terminaison HTTP.

    Même si la durée de la nouvelle tentative expire, Amazon Data Firehose attend toujours l'accusé de réception jusqu'à ce qu'il le reçoive ou que le délai d'expiration de l'accusé de réception soit atteint. Si l'accusé de réception expire, Amazon Data Firehose détermine s'il reste du temps dans le compteur de nouvelles tentatives. Si c'est le cas, il réitère les tentatives et répète la logique jusqu'à ce qu'il reçoive un accusé de réception ou qu'il détermine que le délai imparti pour les nouvelles tentatives est arrivé à son terme.

    Si vous ne souhaitez pas qu'Amazon Data Firehose essaie à nouveau d'envoyer des données, définissez cette valeur sur 0.

    Paramètres – facultatif

    Amazon Data Firehose inclut ces paires clé-valeur dans chaque appel HTTP. Ces paramètres peuvent vous aider à identifier et organiser vos destinations.

    Conseils de mise en mémoire tampon

    Amazon Data Firehose met en mémoire tampon les données entrantes avant de les livrer à la destination spécifiée. La taille de mémoire tampon recommandée pour la destination Elastic varie d'un fournisseur de services à l'autre.

Choisir Elastic pour votre destination

Cette section décrit les options dont vous disposez pour utiliser Elastic comme destination.

  • Fournissez des valeurs pour les champs suivants :

    URL du point de terminaison Elastic

    Spécifiez l'URL du point de terminaison HTTP au format suivant : https://<cluster-id>.es.<region>.aws.elastic-cloud.com. L'URL doit être une URL HTTPS.

    Clé API

    Contactez le service Elastic pour obtenir la clé d'API requise pour permettre la livraison de données à leur service depuis Amazon Data Firehose.

    Encodage de contenu

    Amazon Data Firehose utilise le codage du contenu pour compresser le corps d'une demande avant de l'envoyer à la destination. Choisissez GZIP (sélectionné par défaut) ou Désactivé pour activer/désactiver le codage du contenu de votre demande.

    Retry duration (Durée de la nouvelle tentative)

    Spécifiez la durée pendant laquelle Amazon Data Firehose tente à nouveau d'envoyer des données à Elastic.

    Après avoir envoyé les données, Amazon Data Firehose attend d'abord un accusé de réception de la part du point de terminaison HTTP. Si une erreur se produit ou si l'accusé de réception n'arrive pas dans le délai imparti, Amazon Data Firehose lance le compteur de durée des nouvelles tentatives. Il effectue de nouvelles tentatives jusqu'à ce que la durée des nouvelles tentatives arrive à expiration. Après cela, Amazon Data Firehose considère qu'il s'agit d'un échec de livraison des données et sauvegarde les données dans votre compartiment Amazon S3.

    Chaque fois qu'Amazon Data Firehose envoie des données au point de terminaison HTTP (tentative initiale ou nouvelle tentative), il redémarre le compteur de délais d'accusé de réception et attend un accusé de réception de la part du point de terminaison HTTP.

    Même si la durée de la nouvelle tentative expire, Amazon Data Firehose attend toujours l'accusé de réception jusqu'à ce qu'il le reçoive ou que le délai d'expiration de l'accusé de réception soit atteint. Si l'accusé de réception expire, Amazon Data Firehose détermine s'il reste du temps dans le compteur de nouvelles tentatives. Si c'est le cas, il réitère les tentatives et répète la logique jusqu'à ce qu'il reçoive un accusé de réception ou qu'il détermine que le délai imparti pour les nouvelles tentatives est arrivé à son terme.

    Si vous ne souhaitez pas qu'Amazon Data Firehose essaie à nouveau d'envoyer des données, définissez cette valeur sur 0.

    Paramètres – facultatif

    Amazon Data Firehose inclut ces paires clé-valeur dans chaque appel HTTP. Ces paramètres peuvent vous aider à identifier et organiser vos destinations.

    Conseils de mise en mémoire tampon

    Amazon Data Firehose met en mémoire tampon les données entrantes avant de les livrer à la destination spécifiée. La taille recommandée de la mémoire tampon pour la destination Elastic est de 1 Mio.