Mise en route avec AWS IoT Analytics (console)

Utilisez ce didacticiel pour créer les AWS IoT Analytics ressources (également appelées composants) dont vous avez besoin pour découvrir des informations utiles sur les données de vos appareils IoT.

Remarques

• Si vous entrez des majuscules dans le didacticiel suivant, remplacez-les AWS IoT Analytics automatiquement par des minuscules.

• La AWS IoT Analytics console dispose d'une fonctionnalité de démarrage en un clic pour créer un canal, un pipeline, un magasin de données et un ensemble de données. Vous pouvez accéder à cette fonctionnalité lorsque vous vous connectez à la AWS IoT Analytics console.

  • Ce didacticiel vous explique chaque étape de création de vos AWS IoT Analytics ressources.

Suivez les instructions ci-dessous pour créer un AWS IoT Analytics canal, un pipeline, un magasin de données et un ensemble de données. Le didacticiel explique également comment utiliser la AWS IoT Core console pour envoyer des messages qui seront ingérés. AWS IoT Analytics

Connectez-vous à la AWS IoT Analytics console

Pour commencer, vous devez avoir un AWS compte. Si vous avez déjà un AWS compte, rendez-vous sur le site https://console.aws.amazon.com/iotanalytics/.

Si vous n'avez pas de AWS compte, suivez ces étapes pour en créer un.

Pour créer un AWS compte

1. Ouvrez https://portal.aws.amazon.com/billing/signup.

2. Suivez les instructions en ligne.

   Dans le cadre de la procédure d‘inscription, vous recevrez un appel téléphonique et vous saisirez un code de vérification en utilisant le clavier numérique du téléphone.

   Lorsque vous vous inscrivez à un Compte AWS, un Utilisateur racine d'un compte AWSest créé. Par défaut, seul l‘utilisateur racine a accès à l‘ensemble des AWS services et des ressources de ce compte. La meilleure pratique en matière de sécurité consiste à attribuer un accès administratif à un utilisateur et à n'utiliser que l'utilisateur root pour effectuer les tâches nécessitant un accès utilisateur root.

3. Connectez-vous au https://console.aws.amazon.com/iotanalytics/ AWS Management Console et naviguez jusqu'au site.

Création d'une chaîne

Un canal collecte et archive les données brutes, non traitées et non structurées des appareils IoT. Suivez ces étapes pour créer votre chaîne.

Pour créer un canal

1. Dans le https://console.aws.amazon.com/iotanalytics/, dans la AWS IoT Analytics section Préparez vos données avec, choisissez Afficher les chaînes.

   

   Astuce

   Vous pouvez également sélectionner Channels dans le volet de navigation.

2. Sur la page Channels (Canaux), sélectionnez Create channel (Créer un canal).

3. Sur la page Spécifier les détails de la chaîne, entrez les informations relatives à votre chaîne.

   1. Entrez un nom de chaîne unique et facilement identifiable.

   2. (Facultatif) Pour les tags, ajoutez un ou plusieurs tags personnalisés (paires clé-valeur) à votre chaîne. Les balises peuvent vous aider à identifier les ressources pour lesquelles vous créez AWS IoT Analytics.

   3. Choisissez Suivant.

4. AWS IoT Analytics stocke les données brutes non traitées de vos appareils IoT dans un bucket Amazon Simple Storage Service (Amazon S3). Vous pouvez choisir votre propre compartiment Amazon S3, auquel vous pouvez accéder et le gérer, ou vous AWS IoT Analytics pouvez gérer le compartiment Amazon S3 à votre place.

   1. Dans ce didacticiel, pour Type de stockage, choisissez Stockage géré par le service.

   2. Pour Choisir la durée de stockage de vos données brutes, sélectionnez Indéfiniment.

   3. Choisissez Suivant.

5. Sur la page Configurer la source, entrez les informations AWS IoT Analytics à partir desquelles collecter les données des messages AWS IoT Core.

   1. Entrez un filtre de AWS IoT Core sujet, par exemple,update/environment/dht1. Plus loin dans ce didacticiel, vous utiliserez ce filtre de rubrique pour envoyer des données de message à votre chaîne.

   2. Dans la zone des rôles IAM, choisissez Create new. Dans la fenêtre Créer un nouveau rôle, entrez le nom du rôle, puis choisissez Créer un rôle. Cela crée automatiquement un rôle auquel est attachée une politique appropriée.

   3. Choisissez Suivant.

6. Passez en revue vos choix, puis choisissez Créer une chaîne.

7. Vérifiez que votre nouvelle chaîne apparaît sur la page Chaînes.

Création d'un magasin de données

Un magasin de données reçoit et stocke les données de vos messages. Un magasin de données n'est pas une base de données. Un magasin de données est plutôt un référentiel évolutif et interrogeable dans un compartiment Amazon S3. Vous pouvez utiliser plusieurs banques de données pour les messages provenant de différents appareils ou emplacements. Vous pouvez également filtrer les données des messages en fonction de la configuration et des exigences de votre pipeline.

Procédez comme suit pour créer un magasin de données.

Pour créer un magasin de données

1. Dans le https://console.aws.amazon.com/iotanalytics/, dans la AWS IoT Analytics section Préparez vos données avec, choisissez Afficher les magasins de données.

2. Sur la page Stockages de données, choisissez Créer un magasin de données.

3. Sur la page Spécifier les détails du magasin de données, entrez les informations de base concernant votre magasin de données.

   1. Pour ID de banque de données, entrez un ID de banque de données unique. Vous ne pouvez pas modifier cet identifiant une fois que vous l'avez créé.

   2. (Facultatif) Pour les balises, choisissez Ajouter une nouvelle balise pour ajouter une ou plusieurs balises personnalisées (paires clé-valeur) à votre banque de données. Les balises peuvent vous aider à identifier les ressources pour lesquelles vous créez AWS IoT Analytics.

   3. Choisissez Suivant.

4. Sur la page Configurer le type de stockage, spécifiez le mode de stockage de vos données.

   1. Pour Type de stockage, choisissez Stockage géré par le service.

   2. Pour Configurer la durée pendant laquelle vous souhaitez conserver vos données traitées, choisissez Indéfiniment.

   3. Choisissez Suivant.

5. AWS IoT Analytics les magasins de données prennent en charge les formats de fichier JSON et Parquet. Pour le format de données de votre magasin de données, choisissez JSON ou Parquet. Consultez Formats de fichier pour plus d'informations sur les types de fichiers AWS IoT Analytics pris en charge.

   Choisissez Suivant.

6. (Facultatif) AWS IoT Analytics prend en charge les partitions personnalisées dans votre banque de données afin que vous puissiez effectuer des requêtes sur des données élaguées afin d'améliorer la latence. Pour plus d'informations sur les partitions personnalisées prises en charge, consultezPartitions personnalisées.

   Choisissez Suivant.

7. Passez en revue vos choix, puis choisissez Créer un magasin de données.

8. Vérifiez que votre nouveau magasin de données apparaît sur la page Stockages de données.

Crée un pipeline.

Vous devez créer un pipeline pour connecter un canal à un magasin de données. Un pipeline de base indique uniquement le canal qui collecte les données et identifie le magasin de données auquel les messages sont envoyés. Pour plus d'informations, consultez la section Activités du pipeline.

Dans le cadre de ce didacticiel, vous allez créer un pipeline qui connecte uniquement un canal à un magasin de données. Vous pourrez ultérieurement ajouter des activités de pipeline pour traiter ces données.

Pour créer un pipeline, procédez comme suit.

Pour créer un pipeline

1. Dans le https://console.aws.amazon.com/iotanalytics/, dans la AWS IoT Analytics section Préparez vos données avec, choisissez Afficher les pipelines.

   Astuce

   Vous pouvez également sélectionner Pipelines dans le volet de navigation.

2. Sur la page Pipelines, choisissez Créer un pipeline.

3. Entrez les détails de votre pipeline.

   1. Dans Configurer l'ID et les sources du pipeline, entrez un nom de pipeline.

   2. Choisissez la source de votre pipeline, qui est un AWS IoT Analytics canal à partir duquel votre pipeline lira les messages.

   3. Spécifiez la sortie de votre pipeline, qui est le magasin de données dans lequel les données de vos messages traitées sont stockées.

   4. (Facultatif) Pour les balises, ajoutez une ou plusieurs balises personnalisées (paires clé-valeur) à votre pipeline.

   5. Sur la page Déduire les attributs du message, entrez un nom d'attribut et un exemple de valeur, choisissez un type de données dans la liste, puis choisissez Ajouter un attribut.

   6. Répétez l'étape précédente pour autant d'attributs que nécessaire, puis choisissez Next.

   7. Vous n'ajouterez aucune activité de pipeline pour le moment. Sur la page Enrichir, transformer et filtrer les messages, choisissez Next.

4. Passez en revue vos choix, puis choisissez Créer un pipeline.

5. Vérifiez que votre nouveau pipeline apparaît sur la page Pipelines.

Note

Vous avez créé AWS IoT Analytics des ressources afin qu'elles puissent effectuer les opérations suivantes :

• Collectez des données brutes et non traitées sur les messages des appareils IoT via un canal.

• Stockez les données des messages de votre appareil IoT dans un magasin de données.

• Nettoyez, filtrez, transformez et enrichissez vos données grâce à un pipeline.

Vous allez ensuite créer un jeu de données AWS IoT Analytics SQL pour découvrir des informations utiles sur votre appareil IoT.

Créer un jeu de données

Note

Un ensemble de données est généralement un ensemble de données qui peuvent ou non être organisées sous forme de tableau. En revanche, AWS IoT Analytics crée votre ensemble de données en appliquant une requête SQL aux données de votre magasin de données.

Vous disposez désormais d'un canal qui achemine les données brutes des messages vers un pipeline qui stocke les données dans un magasin de données où elles peuvent être consultées. Pour interroger les données, vous créez un ensemble de données. Un ensemble de données contient des instructions et des expressions SQL que vous utilisez pour interroger le magasin de données, ainsi qu'un calendrier facultatif qui répète la requête au jour et à l'heure que vous spécifiez. Vous pouvez utiliser des expressions similaires aux expressions CloudWatch de planification Amazon pour créer les plannings facultatifs.

Pour créer un jeu de données

1. Dans le https://console.aws.amazon.com/iotanalytics/, dans le volet de navigation de gauche, choisissez Datasets.

2. Sur la page Créer un jeu de données, choisissez Create SQL.

3. Sur la page Spécifier les détails du jeu de données, spécifiez les détails de votre ensemble de données.

   1. Entrez un nom pour votre jeu de données.

   2. Pour Source du magasin de données, choisissez l'ID unique qui identifie le magasin de données que vous avez créé précédemment.

   3. (Facultatif) Pour les balises, ajoutez une ou plusieurs balises personnalisées (paires clé-valeur) à votre ensemble de données.

4. Utilisez des expressions SQL pour interroger vos données et répondre à des questions analytiques. Les résultats de votre requête sont stockés dans cet ensemble de données.

   1. Dans le champ de requête Auteur, entrez une requête SQL qui utilise un caractère générique pour afficher jusqu'à cinq lignes de données.

      SELECT * FROM my_data_store LIMIT 5

      Pour plus d'informations sur les fonctionnalités SQL prises en charge dans AWS IoT Analytics, consultezExpressions SQL dansAWS IoT Analytics.

   2. Vous pouvez choisir Tester la requête pour vérifier que votre saisie est correcte et afficher les résultats dans un tableau à la suite de la requête.

      Note

      • À ce stade du didacticiel, votre banque de données est peut-être vide. L'exécution d'une requête SQL sur une banque de données vide ne renverra aucun résultat. Il se peut donc que vous ne __dt voyiez que des résultats.

      • Vous devez veiller à limiter votre requête SQL à une taille raisonnable afin qu'elle ne s'exécute pas pendant une période prolongée, car Athena limite le nombre maximum de requêtes en cours d'exécution. C'est pourquoi vous devez veiller à limiter la taille de la requête SQL à une taille raisonnable.

        Nous vous suggérons d'utiliser une LIMIT clause dans votre requête lors des tests. Une fois le test réussi, vous pouvez supprimer cette clause.

5. (Facultatif) Lorsque vous créez le contenu d'un ensemble de données à partir de données issues d'une période spécifiée, certaines données peuvent ne pas arriver à temps pour être traitées. Pour autoriser un délai, vous pouvez spécifier un décalage, ou delta. Pour plus d’informations, consultez Recevoir des notifications de données en retard via Amazon CloudWatch Events.

   Vous n'allez pas configurer de filtre de sélection de données pour le moment. Sur la page Configurer le filtre de sélection des données, choisissez Next.

6. (Facultatif) Vous pouvez planifier l'exécution régulière de cette requête afin d'actualiser le jeu de données. Les plannings des ensembles de données peuvent être créés et modifiés à tout moment.

   Vous n'allez pas planifier une exécution récurrente de la requête à ce stade. Sur la page Définir le calendrier des requêtes, choisissez Suivant.

7. AWS IoT Analytics créera des versions du contenu de cet ensemble de données et stockera les résultats de vos analyses pour la période spécifiée. Nous recommandons 90 jours, mais vous pouvez choisir de définir votre politique de conservation personnalisée. Vous pouvez également limiter le nombre de versions stockées du contenu de votre ensemble de données.

   Vous pouvez utiliser la période de conservation du jeu de données par défaut comme étant indéfinie et désactiver le contrôle de version. Sur la page Configurer les résultats de vos analyses, choisissez Next.

8. (Facultatif) Vous pouvez configurer les règles de livraison des résultats de votre jeu de données vers une destination spécifique, telle que AWS IoT Events.

   Vous ne fournirez pas vos résultats ailleurs dans ce didacticiel. Sur la page Configurer les règles de diffusion du contenu du jeu de données, choisissez Suivant.

9. Passez en revue vos choix, puis choisissez Créer un ensemble de données.

10. Vérifiez que votre nouveau jeu de données apparaît sur la page Ensembles de données.

Envoyer des données de message avec AWS IoT

Si vous disposez d'un canal qui achemine les données vers un pipeline, qui les stocke dans un magasin de données où elles peuvent être consultées, vous êtes prêt à y envoyer les données des appareils IoT. AWS IoT Analytics Vous pouvez envoyer des données à AWS IoT Analytics l'aide des options suivantes :

• Utilisez le courtier de AWS IoT messages.

• Utilisez l'opération d'API AWS IoT Analytics BatchPutMessage.

Au cours des étapes suivantes, vous envoyez des données de message depuis le courtier de AWS IoT messages de la AWS IoT Core console afin que AWS IoT Analytics celui-ci puisse les ingérer.

Note

Lorsque vous créez des noms de sujets pour vos messages, tenez compte des points suivants :

• Les noms de sujets ne distinguent pas les majuscules et minuscules. Les champs nommés example et appartenant EXAMPLE à la même charge utile sont considérés comme des doublons.

• Les noms des sujets ne peuvent pas commencer par le $ personnage. Les sujets commençant par $ sont des sujets réservés et ne peuvent être utilisés que par AWS IoT.

• N'incluez pas d'informations personnellement identifiables dans les noms de vos sujets, car ces informations peuvent apparaître dans des communications et des rapports non chiffrés.

• AWS IoT Core Impossible d'envoyer des messages entre les AWS comptes ou AWS les régions.

Pour envoyer des données de message avec AWS IoT

1. Connectez-vous à la console AWS IoT.

2. Dans le volet de navigation, choisissez Test, puis choisissez MQTT test client.

3. Sur la page du client de test MQTT, choisissez Publier dans un sujet.

4. Dans Nom du sujet, entrez un nom qui correspondra au filtre de sujet que vous avez saisi lors de la création d'une chaîne. Cet exemple utilise update/environment/dht1.

5. Pour la charge utile du message, entrez le contenu JSON suivant.

   {
     "thingid": "dht1",
     "temperature": 26,
     "humidity": 29,
     "datetime": "2018-01-26T07:06:01"
   }

6. (Facultatif) Choisissez Ajouter une configuration pour obtenir des options de protocole de message supplémentaires.

7. Choisissez Publish.

   Cela publie un message qui est capturé par votre chaîne. Votre pipeline achemine ensuite le message vers votre magasin de données.

Vérifiez la progression des AWS IoT messages

Vous pouvez vérifier que les messages sont bien ingérés dans votre chaîne en suivant ces étapes.

Pour vérifier la progression des AWS IoT messages

1. Connectez-vous au site https://console.aws.amazon.com/iotanalytics/.

2. Dans le volet de navigation, choisissez Channels, puis choisissez le nom de canal que vous avez créé précédemment.

3. Sur la page de détails de la chaîne, faites défiler la page vers le bas jusqu'à la section Surveillance, puis ajustez la période affichée (1h 3h 12h 1d 3d 1w). Choisissez une valeur telle que 1w pour afficher les données de la semaine dernière.

Vous pouvez utiliser une fonctionnalité similaire pour surveiller l'activité, l'exécution et les erreurs du pipeline sur la page de détails du pipeline. Dans ce didacticiel, vous n'avez pas spécifié d'activités dans le cadre du pipeline. Vous ne devriez donc pas voir d'erreurs d'exécution.

Pour surveiller l'activité du pipeline

1. Dans le volet de navigation, choisissez Pipelines, puis le nom du pipeline que vous avez créé précédemment.

2. Sur la page de détails du pipeline, faites défiler la page vers le bas jusqu'à la section Surveillance, puis ajustez la période affichée en choisissant l'un des indicateurs de période (1h 3h 12h 1d 3d 1w).

Accéder aux résultats des requêtes

Le contenu du jeu de données est un fichier contenant le résultat de votre requête, au format CSV.

1. Dans le https://console.aws.amazon.com/iotanalytics/, dans le volet de navigation de gauche, choisissez Datasets.

2. Sur la page Ensembles de données, choisissez le nom du jeu de données que vous avez créé précédemment.

3. Sur la page d'informations du jeu de données, dans le coin supérieur droit, sélectionnez Exécuter maintenant.

4. Pour vérifier si le jeu de données est prêt, recherchez sous le jeu de données un message similaire à « Vous avez lancé avec succès la requête pour votre ensemble de données ». L'onglet de contenu du jeu de données contient les résultats de la requête et affiche Successed.

5. Pour prévisualiser les résultats de votre requête réussie, dans l'onglet Contenu du jeu de données, sélectionnez le nom de la requête. Pour afficher ou enregistrer le fichier CSV contenant les résultats de la requête, choisissez Télécharger.

   Note

   AWS IoT Analytics peut intégrer la partie HTML d'un bloc-notes Jupyter sur la page de contenu du jeu de données. Pour plus d’informations, consultez VisualisationAWS IoT Analyticsdonnées avec la console.

Explorez vos données

Plusieurs options s'offrent à vous pour stocker, analyser et visualiser vos données.

Amazon Simple Storage Service

Vous pouvez envoyer le contenu d'un ensemble de données vers un compartiment Amazon S3, ce qui permet l'intégration à vos lacs de données existants ou l'accès à partir d'applications internes et d'outils de visualisation. Voir le champ contentDeliveryRules::destination::s3DestinationConfiguration dans l'CreateDatasetopération.

AWS IoT Events

Vous pouvez envoyer le contenu du jeu de données en entrée à AWS IoT Events un service qui vous permet de surveiller les appareils ou les processus pour détecter les défaillances ou les changements de fonctionnement, et de lancer des actions supplémentaires lorsque de tels événements se produisent.

Pour ce faire, créez un ensemble de données à l'aide de l'CreateDatasetopération et spécifiez une AWS IoT Events entrée dans le champcontentDeliveryRules :: destination :: iotEventsDestinationConfiguration :: inputName. Vous devez également spécifier roleArn le rôle qui accorde AWS IoT Analytics les autorisations d'exécutioniotevents:BatchPutMessage. Chaque fois que le contenu des ensembles de données est créé, AWS IoT Analytics chaque entrée de contenu du jeu de données est envoyée sous forme de message à l' AWS IoT Events entrée spécifiée. Par exemple, si votre ensemble de données contient le contenu suivant.

"what","who","dt"
"overflow","sensor01","2019-09-16 09:04:00.000"
"overflow","sensor02","2019-09-16 09:07:00.000"
"underflow","sensor01","2019-09-16 11:09:00.000"
...

AWS IoT Analytics Envoie ensuite des messages contenant des champs tels que les suivants.

{ "what": "overflow", "who": "sensor01", "dt": "2019-09-16 09:04:00.000" }

{ "what": "overflow", "who": "sensor02", "dt": "2019-09-16 09:07:00.000" } 

Vous souhaiterez créer une AWS IoT Events entrée qui reconnaît les champs qui vous intéressent (un ou plusieurs deswhat,who,dt) et créer un modèle de AWS IoT Events détecteur qui utilise ces champs de saisie lors d'événements pour déclencher des actions ou définir des variables internes.

Bloc-notes Jupyter

Jupyter Notebook est une solution open source permettant d'utiliser des langages de script pour exécuter une exploration de données ad hoc et des analyses avancées. Vous pouvez approfondir et appliquer des analyses plus complexes et utiliser des méthodes d'apprentissage automatique, telles que le clustering k-means et les modèles de régression à des fins de prédiction, sur les données de vos appareils IoT.

AWS IoT Analytics utilise des instances de SageMaker blocs-notes Amazon pour héberger ses blocs-notes Jupyter. Avant de créer une instance de bloc-notes, vous devez créer une relation entre Amazon AWS IoT Analytics et SageMaker :

1. Accédez à la SageMaker console et créez une instance de bloc-notes :

   1. Renseignez les détails, puis choisissez Create a new role (Créer un rôle). Notez l'ARN du rôle.

   2. Créez une instance de blocs-notes.

2. Accédez à la console IAM et modifiez le SageMaker rôle :

   1. Ouvrez le rôle. Il doit avoir une stratégie gérée.

   2. Choisissez Ajouter une politique intégrée, puis pour Service, choisissez IoTAnalytics. Choisissez Sélectionner des actions, puis entrez GetDatasetContent dans la zone de recherche et choisissez-la. Choisissez Examiner une politique.

   3. Vérifiez l'exactitude de la politique, entrez un nom, puis choisissez Créer une politique.

Cela donne au rôle nouvellement créé l'autorisation de lire un ensemble de données AWS IoT Analytics.

1. Revenez sur le site https://console.aws.amazon.com/iotanalytics/, puis dans le volet de navigation de gauche, choisissez Notebooks. Sur la page Carnets de notes, choisissez Créer un bloc-notes.

2. Sur la page Sélectionner un modèle, choisissez un modèle vierge IoTA.

3. Sur la page Configurer le bloc-notes, entrez le nom de votre bloc-notes. Dans Sélectionner la source du jeu de données, choisissez puis choisissez le jeu de données que vous avez créé précédemment. Dans Sélectionnez une instance de bloc-notes, choisissez l'instance de bloc-notes dans laquelle vous l'avez créée SageMaker.

4. Après avoir passé en revue vos choix, choisissez Créer un bloc-notes.

5. Sur la page Notebooks, votre instance de bloc-notes s'ouvre dans la SageMaker console Amazon.

Modèles de bloc-notes

Les modèles de AWS IoT Analytics blocs-notes contiennent AWS des modèles d'apprentissage automatique et des visualisations créés par des créateurs pour vous aider à démarrer avec des cas AWS IoT Analytics d'utilisation. Vous pouvez utiliser ces modèles de blocs-notes pour en savoir plus ou les réutiliser pour les adapter aux données de vos appareils IoT et apporter une valeur ajoutée immédiate.

Vous trouverez les modèles de bloc-notes suivants dans la AWS IoT Analytics console :

• Détection d'anomalies contextuelles — Application de la détection d'anomalies contextuelles à la vitesse du vent mesurée à l'aide d'un modèle de moyenne mobile pondérée exponentiellement (PEWMA) de Poisson.

• Prévision de la production des panneaux solaires — Application de modèles de séries chronologiques par morceaux, saisonniers et linéaires pour prédire la production des panneaux solaires.

• Maintenance prédictive sur les moteurs à réaction — Application de réseaux neuronaux multivariés à mémoire à court terme (LSTM) et de régression logistique pour prévoir les pannes de moteurs à réaction.

• Segmentation de la clientèle des maisons intelligentes — Application de la méthode k-means et de l'analyse des composants principaux (PCA) pour détecter différents segments de clientèle dans les données relatives à l'utilisation de la maison intelligente.

• Prévision de la congestion dans les villes intelligentes — Application du LSTM pour prévoir les taux d'utilisation des autoroutes urbaines.

• Prévision de la qualité de l'air dans les villes intelligentes — Application du LSTM pour prévoir la pollution par les particules dans les centres-villes.