Firehose - AWS IoT Greengrass

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Firehose

Le composant Firehose (aws.greengrass.KinesisFirehose) publie des données via les flux de diffusion Amazon Data Firehose vers des destinations telles qu'Amazon S3, Amazon Redshift et Amazon Service. OpenSearch Pour plus d'informations, consultez Qu'est-ce qu'Amazon Data Firehose ? dans le manuel Amazon Data Firehose Developer Guide.

Pour publier sur un flux de diffusion Kinesis avec ce composant, publiez un message dans un sujet auquel ce composant est abonné. Par défaut, ce composant s'abonne aux rubriques de kinesisfirehose/message publication/d'abonnement kinesisfirehose/message/binary/# locales. Vous pouvez spécifier d'autres sujets, y compris les sujets AWS IoT Core MQTT, lorsque vous déployez ce composant.

Note

Ce composant fournit des fonctionnalités similaires à celles du connecteur Firehose de la version 1. AWS IoT Greengrass Pour plus d'informations, consultez la section Connecteur Firehose dans le Guide du développeur de la AWS IoT Greengrass V1.

Versions

Les versions de ce composant sont les suivantes :

  • 2,1x

  • 2,0.x

Type

Ce composant est un composant Lambda () aws.greengrass.lambda. Le noyau Greengrass exécute la fonction Lambda de ce composant à l'aide du composant Lambda Launcher.

Pour de plus amples informations, veuillez consulter Types de composants.

Système d’exploitation

Ce composant ne peut être installé que sur les appareils principaux de Linux.

Prérequis

Ce composant répond aux exigences suivantes :

  • Votre appareil principal doit répondre aux exigences pour exécuter les fonctions Lambda. Si vous souhaitez que le périphérique principal exécute des fonctions Lambda conteneurisées, le périphérique doit répondre aux exigences requises. Pour de plus amples informations, veuillez consulter Exigences relatives à la fonction Lambda.

  • Python version 3.7 installé sur le périphérique principal et ajouté à la variable d'environnement PATH.

  • Le rôle d'appareil Greengrass doit autoriser les firehose:PutRecordBatch actions firehose:PutRecord et, comme illustré dans l'exemple de politique IAM suivant.

    { "Version": "2012-10-17", "Statement": [ { "Action": [ "firehose:PutRecord", "firehose:PutRecordBatch" ], "Effect": "Allow", "Resource": [ "arn:aws:firehose:region:account-id:deliverystream/stream-name" ] } ] }

    Vous pouvez remplacer dynamiquement le flux de diffusion par défaut dans la charge utile du message d'entrée pour ce composant. Si votre application utilise cette fonctionnalité, la politique IAM doit inclure tous les flux cibles en tant que ressources. Vous pouvez octroyer un accès précis ou conditionnel aux ressources (par exemple, en utilisant un schéma d'attribution de nom avec caractère générique *).

  • Pour recevoir les données de sortie de ce composant, vous devez fusionner la mise à jour de configuration suivante pour l'ancien composant routeur d'abonnement (aws.greengrass.LegacySubscriptionRouter) lorsque vous déployez ce composant. Cette configuration indique le sujet dans lequel ce composant publie les réponses.

    Legacy subscription router v2.1.x
    { "subscriptions": { "aws-greengrass-kinesisfirehose": { "id": "aws-greengrass-kinesisfirehose", "source": "component:aws.greengrass.KinesisFirehose", "subject": "kinesisfirehose/message/status", "target": "cloud" } } }
    Legacy subscription router v2.0.x
    { "subscriptions": { "aws-greengrass-kinesisfirehose": { "id": "aws-greengrass-kinesisfirehose", "source": "arn:aws:lambda:region:aws:function:aws-greengrass-kinesisfirehose:version", "subject": "kinesisfirehose/message/status", "target": "cloud" } } }
    • Remplacez la région par Région AWS celle que vous utilisez.

    • Remplacez la version par la version de la fonction Lambda exécutée par ce composant. Pour trouver la version de la fonction Lambda, vous devez consulter la recette de la version de ce composant que vous souhaitez déployer. Ouvrez la page de détails de ce composant dans la AWS IoT Greengrass console et recherchez la paire clé-valeur de la fonction Lambda. Cette paire clé-valeur contient le nom et la version de la fonction Lambda.

    Important

    Vous devez mettre à jour la version de la fonction Lambda sur l'ancien routeur d'abonnement chaque fois que vous déployez ce composant. Cela garantit que vous utilisez la bonne version de la fonction Lambda pour la version du composant que vous déployez.

    Pour de plus amples informations, veuillez consulter Créer des déploiements.

  • Le composant Firehose est compatible pour s'exécuter dans un VPC. Pour déployer ce composant dans un VPC, les éléments suivants sont requis.

    • Le composant Firehose doit disposer d'une connectivité firehose.region.amazonaws.com dont le point de terminaison VPC est de. com.amazonaws.region.kinesis-firehose

Points de terminaison et ports

Ce composant doit être capable d'effectuer des demandes sortantes vers les points de terminaison et les ports suivants, en plus des points de terminaison et des ports requis pour le fonctionnement de base. Pour de plus amples informations, veuillez consulter Autoriser le trafic des appareils via un proxy ou un pare-feu.

Point de terminaison Port Obligatoire Description

firehose.region.amazonaws.com

443 Oui

Téléchargez les données vers Firehose.

Dépendances

Lorsque vous déployez un composant, il déploie AWS IoT Greengrass également des versions compatibles de ses dépendances. Cela signifie que vous devez satisfaire aux exigences relatives au composant et à toutes ses dépendances pour réussir le déploiement du composant. Cette section répertorie les dépendances des versions publiées de ce composant et les contraintes de version sémantiques qui définissent les versions des composants pour chaque dépendance. Vous pouvez également consulter les dépendances de chaque version du composant dans la AWS IoT Greengrass console. Sur la page de détails du composant, recherchez la liste des dépendances.

2.1.7

Le tableau suivant répertorie les dépendances pour la version 2.1.7 de ce composant.

Dépendance Versions compatibles Type de dépendance
Noyau de Greengrass >=2,0.0 <2,13.0 Stricte
Lanceur Lambda ^2,0.0 Stricte
Environnements d'exécution (runtimes) Lambda ^2,0.0 Flexible
Service d'échange de jetons ^2,0.0 Stricte
2.1.6

Le tableau suivant répertorie les dépendances pour la version 2.1.6 de ce composant.

Dépendance Versions compatibles Type de dépendance
Noyau de Greengrass >=2,0.0 <2,12.0 Stricte
Lanceur Lambda ^2,0.0 Stricte
Environnements d'exécution (runtimes) Lambda ^2,0.0 Flexible
Service d'échange de jetons ^2,0.0 Stricte
2.1.5

Le tableau suivant répertorie les dépendances pour la version 2.1.5 de ce composant.

Dépendance Versions compatibles Type de dépendance
Noyau de Greengrass >=2,0.0 <2,11.0 Stricte
Lanceur Lambda ^2,0.0 Stricte
Environnements d'exécution (runtimes) Lambda ^2,0.0 Flexible
Service d'échange de jetons ^2,0.0 Stricte
2.1.4

Le tableau suivant répertorie les dépendances pour la version 2.1.4 de ce composant.

Dépendance Versions compatibles Type de dépendance
Noyau de Greengrass >=2,0,0 <2,1,0 Stricte
Lanceur Lambda ^2,0.0 Stricte
Environnements d'exécution (runtimes) Lambda ^2,0.0 Flexible
Service d'échange de jetons ^2,0.0 Stricte
2.1.3

Le tableau suivant répertorie les dépendances pour la version 2.1.3 de ce composant.

Dépendance Versions compatibles Type de dépendance
Noyau de Greengrass >=2,0.0 <2,9.0 Stricte
Lanceur Lambda ^2,0.0 Stricte
Environnements d'exécution (runtimes) Lambda ^2,0.0 Flexible
Service d'échange de jetons ^2,0.0 Stricte
2.1.2

Le tableau suivant répertorie les dépendances pour la version 2.1.2 de ce composant.

Dépendance Versions compatibles Type de dépendance
Noyau de Greengrass >=2,0.0 <2,8.0 Stricte
Lanceur Lambda ^2,0.0 Stricte
Environnements d'exécution (runtimes) Lambda ^2,0.0 Flexible
Service d'échange de jetons ^2,0.0 Stricte
2.1.1

Le tableau suivant répertorie les dépendances pour la version 2.1.1 de ce composant.

Dépendance Versions compatibles Type de dépendance
Noyau de Greengrass >=2,0.0 <2,7.0 Stricte
Lanceur Lambda ^2,0.0 Stricte
Environnements d'exécution (runtimes) Lambda ^2,0.0 Flexible
Service d'échange de jetons ^2,0.0 Stricte
2.0.8 - 2.1.0

Le tableau suivant répertorie les dépendances pour les versions 2.0.8 et 2.1.0 de ce composant.

Dépendance Versions compatibles Type de dépendance
Noyau de Greengrass >=2,0.0 <2,6.0 Stricte
Lanceur Lambda ^2,0.0 Stricte
Environnements d'exécution (runtimes) Lambda ^2,0.0 Flexible
Service d'échange de jetons ^2,0.0 Stricte
2.0.7

Le tableau suivant répertorie les dépendances pour la version 2.0.7 de ce composant.

Dépendance Versions compatibles Type de dépendance
Noyau de Greengrass >=2,0.0 <2,5.0 Stricte
Lanceur Lambda ^2,0.0 Stricte
Environnements d'exécution (runtimes) Lambda ^2,0.0 Flexible
Service d'échange de jetons ^2,0.0 Stricte
2.0.6

Le tableau suivant répertorie les dépendances pour la version 2.0.6 de ce composant.

Dépendance Versions compatibles Type de dépendance
Noyau de Greengrass >=2,0.0 <2,4.0 Stricte
Lanceur Lambda ^2,0.0 Stricte
Environnements d'exécution (runtimes) Lambda ^2,0.0 Flexible
Service d'échange de jetons ^2,0.0 Stricte
2.0.5

Le tableau suivant répertorie les dépendances pour la version 2.0.5 de ce composant.

Dépendance Versions compatibles Type de dépendance
Noyau de Greengrass >=2,0.0 <2,3.0 Stricte
Lanceur Lambda ^2,0.0 Stricte
Environnements d'exécution (runtimes) Lambda ^2,0.0 Flexible
Service d'échange de jetons ^2,0.0 Stricte
2.0.4

Le tableau suivant répertorie les dépendances pour la version 2.0.4 de ce composant.

Dépendance Versions compatibles Type de dépendance
Noyau de Greengrass >=2,0.0 <2,2.0 Stricte
Lanceur Lambda ^2,0.0 Stricte
Environnements d'exécution (runtimes) Lambda ^2,0.0 Flexible
Service d'échange de jetons ^2,0.0 Stricte
2.0.3

Le tableau suivant répertorie les dépendances pour la version 2.0.3 de ce composant.

Dépendance Versions compatibles Type de dépendance
Noyau de Greengrass >=2,0,3 <2,10 Stricte
Lanceur Lambda >=10,0 Stricte
Environnements d'exécution (runtimes) Lambda >=10,0 Flexible
Service d'échange de jetons >=10,0 Stricte

Pour plus d'informations sur les dépendances des composants, consultez la référence de la recette des composants.

Configuration

Ce composant fournit les paramètres de configuration suivants que vous pouvez personnaliser lorsque vous déployez le composant.

Note

La configuration par défaut de ce composant inclut les paramètres de la fonction Lambda. Nous vous recommandons de modifier uniquement les paramètres suivants pour configurer ce composant sur vos appareils.

lambdaParams

Objet contenant les paramètres de la fonction Lambda de ce composant. Cet objet contient les informations suivantes :

EnvironmentVariables

Objet contenant les paramètres de la fonction Lambda. Cet objet contient les informations suivantes :

DEFAULT_DELIVERY_STREAM_ARN

L'ARN du flux de diffusion Firehose par défaut où le composant envoie des données. Vous pouvez remplacer le flux de destination par la delivery_stream_arn propriété dans la charge utile du message d'entrée.

Note

Le rôle principal de l'appareil doit autoriser les actions requises sur tous les flux de diffusion cibles. Pour de plus amples informations, veuillez consulter Prérequis.

PUBLISH_INTERVAL

(Facultatif) Le nombre maximal de secondes à attendre avant que le composant publie des données par lots dans Firehose. Pour configurer le composant afin qu'il publie les métriques au fur et à mesure qu'il les reçoit, c'est-à-dire sans traitement par lots, spécifiez0.

Cette valeur peut être d'au plus 900 secondes.

Par défaut : 10 secondes

DELIVERY_STREAM_QUEUE_SIZE

(Facultatif) Nombre maximal d'enregistrements à conserver en mémoire avant que le composant rejette de nouveaux enregistrements pour le même flux de diffusion.

Cette valeur doit être d'au moins 2 000 enregistrements.

Par défaut : 5 000 enregistrements

containerMode

(Facultatif) Mode de conteneurisation de ce composant. Sélectionnez parmi les options suivantes :

  • NoContainer— Le composant ne s'exécute pas dans un environnement d'exécution isolé.

  • GreengrassContainer— Le composant s'exécute dans un environnement d'exécution isolé à l'intérieur du AWS IoT Greengrass conteneur.

Par défaut : GreengrassContainer

containerParams

(Facultatif) Objet contenant les paramètres du conteneur pour ce composant. Le composant utilise ces paramètres si vous le spécifiez GreengrassContainer pourcontainerMode.

Cet objet contient les informations suivantes :

memorySize

(Facultatif) La quantité de mémoire (en kilo-octets) à allouer au composant.

La valeur par défaut est de 64 Mo (65 535 Ko).

pubsubTopics

(Facultatif) Objet contenant les rubriques auxquelles le composant s'abonne pour recevoir des messages. Vous pouvez spécifier chaque sujet et indiquer si le composant est abonné à des sujets MQTT depuis AWS IoT Core ou à des sujets de publication/d'abonnement locaux.

Cet objet contient les informations suivantes :

0— Il s'agit d'un index de tableau sous forme de chaîne.

Objet contenant les informations suivantes :

type

(Facultatif) Type de message de publication/d'abonnement utilisé par ce composant pour s'abonner aux messages. Sélectionnez parmi les options suivantes :

  • PUB_SUB – Abonnez-vous aux messages locaux de publication/abonnement. Si vous choisissez cette option, le sujet ne peut pas contenir de caractères génériques MQTT. Pour plus d'informations sur la façon d'envoyer des messages à partir d'un composant personnalisé lorsque vous spécifiez cette option, consultezPublier/souscrire des messages locaux.

  • IOT_CORE— Abonnez-vous aux messages AWS IoT Core MQTT. Si vous choisissez cette option, le sujet peut contenir des caractères génériques MQTT. Pour plus d'informations sur la façon d'envoyer des messages à partir de composants personnalisés lorsque vous spécifiez cette option, consultezPublier/souscrire AWS IoT Core des messages MQTT.

Par défaut : PUB_SUB

topic

(Facultatif) Rubrique à laquelle le composant s'abonne pour recevoir des messages. Si vous spécifiez IotCore pourtype, vous pouvez utiliser des caractères génériques MQTT (+et#) dans cette rubrique.

Exemple : mise à jour de fusion de configuration (mode conteneur)
{ "lambdaExecutionParameters": { "EnvironmentVariables": { "DEFAULT_DELIVERY_STREAM_ARN": "arn:aws:firehose:us-west-2:123456789012:deliverystream/mystream" } }, "containerMode": "GreengrassContainer" }
Exemple : mise à jour de fusion de configuration (pas de mode conteneur)
{ "lambdaExecutionParameters": { "EnvironmentVariables": { "DEFAULT_DELIVERY_STREAM_ARN": "arn:aws:firehose:us-west-2:123456789012:deliverystream/mystream" } }, "containerMode": "NoContainer" }

Données d'entrée

Ce composant accepte le contenu du flux sur les sujets suivants et envoie le contenu au flux de diffusion cible. Le composant accepte deux types de données d'entrée :

  • les données JSON dans la rubrique kinesisfirehose/message.

  • les données binaires dans la rubrique kinesisfirehose/message/binary/#.

Rubrique par défaut pour les données JSON (publication/abonnement locaux) : kinesisfirehose/message

Le message accepte les propriétés suivantes. Les messages d'entrée doivent être au format JSON.

request

Données à envoyer au flux de diffusion et au flux de diffusion cible, s'il est différent du flux par défaut.

Type : object qui contient les informations suivantes :

data

Données à envoyer au flux de diffusion.

Type : string

delivery_stream_arn

(Facultatif) L'ARN du flux de diffusion Firehose cible. Spécifiez cette propriété pour remplacer le flux de diffusion par défaut.

Type : string

id

ID arbitraire de la demande. Utilisez cette propriété pour associer une demande d'entrée à une réponse de sortie. Lorsque vous spécifiez cette propriété, le composant définit la id propriété de l'objet de réponse sur cette valeur.

Type : string

Exemple d'entrée
{ "request": { "delivery_stream_arn": "arn:aws:firehose:region:account-id:deliverystream/stream2-name", "data": "Data to send to the delivery stream." }, "id": "request123" }
Rubrique par défaut pour les données binaires (publication/abonnement locaux) : kinesisfirehose/message/binary/#

Utilisez cette rubrique pour envoyer un message qui contient des données binaires. Le composant n'analyse pas les données binaires. Le composant diffuse les données telles quelles.

Pour mapper la demande d'entrée à une réponse de sortie, remplacez le caractère générique # dans la rubrique du message par un ID de demande arbitraire. Par exemple, si vous publiez un message dans kinesisfirehose/message/binary/request123, la propriété id dans l'objet de réponse est définie sur request123.

Si vous ne souhaitez pas mapper une demande à une réponse, vous pouvez publier vos messages dans kinesisfirehose/message/binary/. Assurez-vous d'inclure la barre oblique finale ()/.

Données de sortie

Ce composant publie par défaut les réponses sous forme de données de sortie sur le sujet MQTT suivant. Vous devez spécifier cette rubrique subject dans la configuration de l'ancien composant routeur d'abonnement. Pour plus d'informations sur la façon de s'abonner à des messages sur ce sujet dans vos composants personnalisés, consultezPublier/souscrire AWS IoT Core des messages MQTT.

Rubrique par défaut (AWS IoT Core MQTT) : kinesisfirehose/message/status

Exemple de sortie

La réponse contient le statut de chaque enregistrement de données envoyé dans le lot.

{ "response": [ { "ErrorCode": "error", "ErrorMessage": "test error", "id": "request123", "status": "fail" }, { "firehose_record_id": "xyz2", "id": "request456", "status": "success" }, { "firehose_record_id": "xyz3", "id": "request890", "status": "success" } ] }
Note

Si le composant détecte une erreur qui peut être réessayée, telle qu'une erreur de connexion, il réessaie de publier dans le lot suivant.

Fichier journal local

Ce composant utilise le fichier journal suivant.

/greengrass/v2/logs/aws.greengrass.KinesisFirehose.log
Pour consulter les journaux de ce composant
  • Exécutez la commande suivante sur le périphérique principal pour afficher le fichier journal de ce composant en temps réel. Remplacez /greengrass/v2 par le chemin d'accès au dossier AWS IoT Greengrass racine.

    sudo tail -f /greengrass/v2/logs/aws.greengrass.KinesisFirehose.log

Licences

Ce composant inclut les logiciels/licences tiers suivants :

Ce composant est publié dans le cadre du contrat de licence logicielle Greengrass Core.

Journal des modifications

Le tableau suivant décrit les modifications apportées à chaque version du composant.

Version

Modifications

2.1.7

Version mise à jour pour la version 2.12.0 de Greengrass Nucleus.

2.1.6

Version mise à jour pour la version 2.11.0 de Greengrass Nucleus.

2.1.5

Version mise à jour pour la version 2.10.0 de Greengrass Nucleus.

2.1.4

Version mise à jour pour la version 2.9.0 de Greengrass Nucleus.

2.1.3

Version mise à jour pour la version 2.8.0 de Greengrass Nucleus.

2.1.2

Version mise à jour pour la version 2.7.0 de Greengrass Nucleus.

2.1.1

Version mise à jour pour la version 2.6.0 de Greengrass Nucleus.

2.1.0

Nouvelles fonctionnalités

2.0.8

Version mise à jour pour la version 2.5.0 de Greengrass Nucleus.

2.0.7

Version mise à jour pour la version 2.4.0 de Greengrass Nucleus.

2.0.6

Version mise à jour pour la version 2.3.0 de Greengrass Nucleus.

2.0.5

Version mise à jour pour la version 2.2.0 de Greengrass Nucleus.

2.0.4

Version mise à jour pour la version 2.1.0 de Greengrass Nucleus.

2.0.3

Première version.

Consultez aussi