Qu'est-ce que AWS IoT Analytics ?

AWS IoT Analyticsautomatise les étapes nécessaires à l'analyse des données des appareils IoT. AWS IoT Analyticsfiltre, transforme et enrichit les données IoT avant de les stocker dans un magasin de données chronologiques à des fins d'analyse. Vous pouvez configurer le service pour collecter uniquement les données dont vous avez besoin pour vos appareils, appliquer des transformations mathématiques afin de traiter les données, et enrichir celles-ci avec des métadonnées spécifiques aux appareils, telles que le type et l'emplacement de l'appareil, avant de les stocker. Vous pouvez ensuite analyser vos données en exécutant des requêtes à l'aide du moteur de requêtes SQL intégré, ou effectuer des analyses plus complexes et des inférences basées sur l'apprentissage automatique. AWS IoT Analyticspermet une exploration avancée des données grâce à l'intégration à Jupyter Notebook. AWS IoT Analyticspermet également la visualisation des données grâce à l'intégration à Amazon QuickSight. Amazon QuickSight est disponible dans les régions suivantes.

Les outils d'analyse et d'informatique décisionnelle traditionnels sont conçus pour traiter des données structurées. Les données IoT brutes proviennent souvent d'appareils qui enregistrent des données moins structurées (telles que la température, les mouvements ou le son). Par conséquent, les données issues de ces appareils peuvent présenter des lacunes importantes, des messages endommagés et des relevés erronés qui doivent faire l'objet d'un nettoyage avant de pouvoir être analysés. De plus, les données de l'IoT n'ont souvent de sens que dans le contexte d'autres données provenant de sources externes. AWS IoT Analyticsvous permet de résoudre ces problèmes et de collecter de grandes quantités de données sur les appareils, de traiter les messages et de les stocker. Vous pouvez ensuite interroger les données et les analyser. AWS IoT Analyticsinclut des modèles prédéfinis pour des cas d'utilisation courants de l'IoT afin que vous puissiez répondre à des questions telles que les appareils sur le point de tomber en panne ou les clients qui risquent d'abandonner leurs appareils portables.

Utilisation des AWS IoT Analytics

Le graphique suivant présente un aperçu de la façon dont vous pouvez utiliserAWS IoT Analytics.

Fonctions principales

Collecte

• Intégré àAWS IoT Core : ilAWS IoT Analytics est entièrement intégréAWS IoT Core afin de pouvoir recevoir des messages provenant d'appareils connectés au fur et à mesure de leur diffusion.

• Utilisez une API par lots pour ajouter des données provenant de n'importe quelle source.AWS IoT Analytics Vous pouvez recevoir des données de n'importe quelle source via HTTP. Cela signifie que tout appareil ou service connecté à Internet peut envoyer des données àAWS IoT Analytics. Pour plus d'informations, consultez BatchPutMessage dans la Référence d'API AWS IoT Analytics.

• Collectez uniquement les données que vous souhaitez stocker et analyser. Vous pouvez utiliser laAWS IoT Analytics consoleAWS IoT Analytics pour configurer la réception de messages provenant d'appareils via des filtres thématiques MQTT dans différents formats et fréquences. AWS IoT Analyticsvérifie que les données correspondent à des paramètres spécifiques que vous définissez et crée des canaux. Le service achemine ensuite les canaux vers des pipelines appropriés en vue du traitement, de la transformation et de l'enrichissement de messages.

Processus

• Nettoyer et filtrer : vousAWS IoT Analytics permet de définir lesAWS Lambda fonctions qui sont déclenchées lorsque des données manquantes sontAWS IoT Analytics détectées, afin que vous puissiez exécuter du code pour estimer et combler les lacunes. Vous pouvez également définir des filtres maximum et minimum ainsi que des seuils percentiles pour supprimer les valeurs aberrantes de vos données.

• Transformation :AWS IoT Analytics permet de transformer des messages à l'aide de la logique mathématique ou conditionnelle que vous définissez, afin de pouvoir effectuer des calculs courants tels que la conversion de degrés Celsius en degrés Fahrenheit.

• Enrichir :AWS IoT Analytics permet d'enrichir les données à l'aide de sources de données externes telles que des prévisions météorologiques, puis d'acheminer les données vers le magasin deAWS IoT Analytics données.

Stockage

• Stockage de données chronologiques :AWS IoT Analytics stocke les données de l'appareil dans un magasin de données chronologiques optimisé pour une extraction et une analyse plus rapides. Vous pouvez également gérer les autorisations d'accès, implémenter des stratégies de rétention des données et exporter vos données vers des points d'accès externes.

• Stocker les données traitées et brutes :AWS IoT Analytics stocke les données traitées et stocke également automatiquement les données brutes ingérées afin que vous puissiez les traiter ultérieurement.

Analyser

• Exécuter des requêtes SQL ad hoc :AWS IoT Analytics fournit un moteur de requêtes SQL qui vous permet d'exécuter des requêtes ad hoc et d'obtenir des résultats rapidement. Le service vous permet d'utiliser des requêtes SQL standard pour extraire des données du magasin de données afin de répondre à des questions telles que la distance moyenne parcourue par une flotte de véhicules connectés ou le nombre de portes verrouillées après 19 heures dans un bâtiment intelligent. Ces requêtes peuvent être réutilisées même en cas de modification des appareils connectés, de la taille de groupe et des exigences d'analyse.

• Analyse des séries chronologiques :AWS IoT Analytics prend en charge l'analyse des séries chronologiques afin que vous puissiez analyser les performances des appareils au fil du temps et comprendre comment et où ils sont utilisés, surveiller en permanence les données des appareils pour prévoir les problèmes de maintenance et surveiller les capteurs pour prévoir les conditions environnementales et y réagir.

• Ordinateurs portables hébergés pour des analyses sophistiquées et un apprentissage automatique :AWS IoT Analytics inclut la prise en charge des blocs-notes hébergés dans Jupyter Notebook à des fins d'analyse statistique et d'apprentissage automatique. Le service inclut un ensemble de modèles deAWS bloc-notes contenant des modèles et des visualisations d'apprentissage automatique créés par des créateurs. Vous pouvez utiliser les modèles pour vous familiariser avec des cas d'utilisation de l'IoT liés au profilage des défaillances des appareils, à la prévision d'événements tels qu'une faible utilisation susceptible d'indiquer que le client abandonnera le produit, ou à la segmentation des appareils en fonction de leur niveau d'utilisation (par exemple, utilisateurs intensifs, utilisateurs le week-end) ou de leur état de santé. Une fois que vous avez créé un bloc-notes, vous pouvez le conteneuriser et l'exécuter selon un calendrier que vous spécifiez. Pour plus d'informations, consultez Automatisation de votre flux de travail.

• Prédiction : vous pouvez effectuer une classification statistique à l'aide d'une méthode appelée régression logistique. Vous pouvez aussi utiliser la mémoire à long ou court terme, une technique de réseau neuronal puissante de prédiction de sortie ou de l'état d'un processus qui varie au fil du temps. Les modèles de blocs-notes préconfigurés prennent aussi en charge les algorithmes de clustering k-moyennes pour la segmentation d'appareil, qui regroupe vos appareils en groupe de mêmes appareils. Ces modèles sont en général utilisés pour profiler l'intégrité et l'état d'un appareil comme les unités CVC d'une fabrique de chocolat ou de protection des pales d'une éolienne. Encore une fois, ces modèles de bloc-notes peuvent être contenus et exécutés selon un calendrier.

Créer et visualiser

• QuickSight Intégration Amazon :AWS IoT Analytics fournit un connecteur vers Amazon qui QuickSight vous permet de visualiser vos ensembles de données dans un QuickSight tableau de bord.

• Intégration à la console : vous pouvez également visualiser les résultats de votre analyse ad hoc dans le Jupyter Notebook intégré àAWS IoT Analytics la console.

AWS IoT Analyticscomposants et concepts

Canal

Un canal collecte des données à partir d'une rubrique MQTT et archive les messages bruts non traités avant de publier les données dans un pipeline. Vous pouvez également envoyer des messages à une chaîne directement à l'aide de l'BatchPutMessageAPI. Les messages non traités sont stockés dans un compartiment Amazon Simple Storage Service (Amazon S3) que vous ouAWS IoT Analytics gérez.

Pipeline

Un pipeline consomme les messages d'un canal et vous permet de traiter les messages avant de les stocker dans un magasin de données. Les étapes de traitement, appelées activités (activités de pipeline), transforment vos messages, par exemple en supprimant, renommant ou en ajoutant des attributs de message, en filtrant les messages en fonction des valeurs d'attribut, en invoquant vos fonctions Lambda sur des messages pour un traitement avancé ou en effectuant des transformations mathématiques pour normaliser les données des appareils.

Banque de données

Les pipelines stockent leurs messages traités dans une banque de données. Un magasin de données n'est pas une base de données, mais un référentiel scalable et interrogeable de vos messages. Vous pouvez avoir plusieurs banques de données pour les messages provenant de différents appareils ou emplacements, ou filtrés par attributs de message selon la configuration et les exigences de votre pipeline. Comme pour les messages de canal non traités, les messages traités d'un magasin de données sont stockés dans un compartiment Amazon S3 que vous ouAWS IoT Analytics gérez.

Ensemble de données

Vous pouvez récupérer des données à partir d'un magasin de données en créant un ensemble de données. AWS IoT Analyticsvous permet de créer un ensemble de données SQL ou un ensemble de données de conteneur.

Une fois que vous disposez d'un ensemble de données, vous pouvez explorer et mieux comprendre vos données grâce à l'intégration à l'aide d'Amazon QuickSight. Vous pouvez également exécuter des fonctions analytiques plus avancées grâce à l'intégration à Jupyter Notebook. Jupyter Notebook fournit de puissants outils de science des données capables d'effectuer un apprentissage automatique et une gamme d'analyses statistiques. Pour plus d'informations, consultez Modèles de bloc-notes.

Vous pouvez envoyer le contenu d'un ensemble de données vers un compartiment Amazon S3, ce qui permet l'intégration à vos lacs de données existants ou l'accès à partir d'applications et d'outils de visualisation internes. Vous pouvez également envoyer le contenu d'un ensemble de données en tant qu'entrée à AWS IoT Eventsun service qui vous permet de surveiller les appareils ou les processus pour détecter les défaillances ou les modifications de fonctionnement, et de déclencher des actions supplémentaires lorsque de tels événements se produisent.

Ensemble de données SQL

Un ensemble de données SQL est similaire à une vue matérialisée d'une base de données SQL. Vous pouvez créer un ensemble de données SQL en appliquant une action SQL. Les ensembles de données SQL peuvent être générés automatiquement selon un calendrier récurrent en spécifiant un déclencheur.

Ensemble de données de conteneur

Un ensemble de données de conteneurs vous permet d'exécuter automatiquement vos outils d'analyse et de générer des résultats. Pour plus d'informations, consultez Automatisation de votre flux de travail. Il rassemble un ensemble de données SQL en entrée, un conteneur Docker avec vos outils d'analyse et les fichiers de bibliothèque requis, les variables d'entrée et de sortie, et un déclencheur de planification facultatif. Les variables d'entrée et de sortie indiquent à l'image exécutable où obtenir les données et stocker les résultats. Le déclencheur peut exécuter votre analyse lorsqu'un ensemble de données SQL finit de créer son contenu ou selon une expression de planification temporelle. Un ensemble de données de conteneur exécute, génère et enregistre automatiquement les résultats des outils d’analyse.

Déclencheur

Vous pouvez créer automatiquement un ensemble de données en spécifiant un déclencheur. Le déclencheur peut être un intervalle de temps (par exemple, créez cet ensemble de données toutes les deux heures) ou lorsque le contenu d'un autre ensemble de données a été créé (par exemple, créez cet ensemble de données lorsque vous avezmyOtherDataset terminé de créer son contenu). Vous pouvez également générer le contenu des ensembles de données manuellement à l'aide de l'CreateDatasetContentAPI.

Conteneur Docker

Vous pouvez créer votre propre conteneur Docker pour empaqueter vos outils d'analyse ou utiliser les options qui en SageMaker fournissent. Pour plus d'informations, consultez Conteneur Docker. Vous pouvez créer votre propre conteneur Docker pour empaqueter vos outils d'analyse ou utiliser les options fournies par SageMaker. Vous pouvez stocker un conteneur dans un registre Amazon ECR que vous spécifiez afin de pouvoir l'installer sur la plateforme de votre choix. Les conteneurs Docker sont capables d'exécuter votre code analytique personnalisé préparé avec Matlab, Octave, Wise.io, SPSS, R, Fortran, Python, Scala, Java, C++, etc. Pour plus d'informations, consultez Conteneurisation d'un bloc-notes.

Fenêtres delta

Les fenêtres delta sont une série d'intervalles temporels contigus, non superposés, définis par l'utilisateur. Les fenêtres Delta vous permettent de créer un contenu d'ensemble de données avec de nouvelles données arrivées dans le magasin de données depuis la dernière analyse et d'effectuer une analyse sur ces nouvelles données arrivées dans le magasin de données. Vous créez une fenêtre delta en définissant ledeltaTime dans lafilters partie aqueryAction d'un ensemble de données. Pour en savoir plus, consultez l'API CreateDataset. En général, vous souhaiterez créer automatiquement le contenu de l'ensemble de données en configurant également un déclencheur d'intervalle de temps (triggers:schedule:expression). Cela vous permet de filtrer les messages qui sont arrivés au cours d'une fenêtre horaire spécifique, afin que les données contenues dans les messages des fenêtres horaires précédentes ne soient pas comptées deux fois. Pour plus d'informations, consultez l'Exemple 6 : création d'un jeu de données SQL avec une fenêtre Delta (CLI).

Accès à AWS IoT Analytics

Dans le cadre deAWS IoT,AWS IoT Analytics fournit les interfaces suivantes pour permettre à vos appareils de générer des données et à vos applications d'interagir avec les données qu'ils génèrent :

AWS Command Line Interface (AWS CLI)

ExécutezAWS IoT Analytics des commandes pour Windows, OS X et Linux. Ces commandes vous permettent de créer et de gérer des éléments, des certificats, des règles et des politiques. Consultez le AWS Command Line Interface Guide de l'utilisateur pour démarrer. Pour plus d'informations sur les commandes deAWS IoT, voir iot dans la AWS Command Line InterfaceRéférence.

Important

Utilisez laaws iotanalytics commande pour interagir avecAWS IoT Analytics. Utilisez laaws iot commande pour interagir avec d'autres parties du système IoT.

API AWS IoT

Créez vos applications IoT en utilisant des requêtes HTTP ou HTTPS. Ces actions d'API vous permettent de créer et de gérer des éléments, des certificats, des règles et des politiques. Pour de plus amples informations, veuillez consulter Actions dans la Référence d'API AWS IoT.

Kits de développement logiciel (SDK) AWS

Créez vosAWS IoT Analytics applications avec des API spécifiques du langage. Ces SDK encapsulent les API HTTP et HTTPS et vous permettent de programmer dans n'importe quelle langue prise en charge. Pour plus d'informations, consultez Kits SDK et outils AWS.

Kits SDK pour les appareils AWS IoT

Créez des applications qui s'exécutent sur vos appareils et qui envoient des messages àAWS IoT Analytics. Pour plus d'informations, consultez Kits SDK AWS IoT.

Console AWS IoT Analytics

Vous pouvez créer les composants pour visualiser les résultats dans la AWS IoT Analyticsconsole.

Cas d'utilisation

Maintenance prédictive

AWS IoT Analyticsfournit des modèles pour créer des modèles de maintenance prédictive et les appliquer à vos appareils. Par exemple, vous pouvez l'utiliser pour prévoirAWS IoT Analytics à quel moment les systèmes de chauffage et de refroidissement sont susceptibles de tomber en panne sur les véhicules de transport de marchandises connectés afin de réacheminer les véhicules afin d'éviter d'endommager les envois. Ou, un fabricant de voitures peut détecter quels véhicules ont des plaquettes de frein usées et ainsi avertir ses clients de faire réviser leur véhicule.

Réapprovisionnement proactif

AWS IoT Analyticsvous permet de créer des applications IoT capables de surveiller les inventaires en temps réel. Par exemple, une société de restauration peut analyser les données des distributeurs de nourritures et passer commande proactivement de marchandise à chaque fois que le stock est bas.

Évaluation de l'efficacité des processus

AvecAWS IoT Analytics, vous pouvez créer des applications IoT qui surveillent en permanence l'efficacité des différents processus et prennent des mesures pour améliorer le processus. Par exemple, une société minière peut améliorer l'efficacité de ses camions de minerais en maximisant la charge par trajet. L'entreprise peut ainsi identifier la charge la plus efficace pour un site ou un camion au fil du temps, puis comparer tout écart par rapport à la charge cible en temps réel et mieux planifier les principales directives pour améliorer l'efficacité.AWS IoT Analytics

Agriculture intelligente

AWS IoT Analyticspeut enrichir les données des appareils IoT avec des métadonnées contextuelles à l'aide de données deAWS IoT registre ou de sources de données publiques afin que votre analyse prenne en compte le temps, le lieu, la température, l'altitude et d'autres conditions environnementales. Avec cette analyse, vous pouvez écrire des modèles qui produisent les actions recommandées réalisées par vos appareils sur le terrain. Par exemple, pour déterminer quand arroser, les systèmes d'irrigation peuvent enrichir les données des capteurs d'humidité avec des données sur les précipitations, ce qui permet une utilisation plus efficace de l'eau.