Connecteur de détection d'objets ML

Détection d'objets MLconnecteursfournit un service d'inférence de Machine Learning (ML) qui s'exécute surAWS IoT GreengrassCore. Ce service d'inférence local effectue la détection d'objets à l'aide d'un modèle de détection d'objets compilé par le SageMaker Compilateur Neo deep learning. Deux types de modèles de détection d'objets sont pris en charge : Détecteur Multibox Detector (SSD) et You Only Look Only Look Once (YOLO) v3. Pour plus d'informations, consultez Exigences du modèle de détection d'objets.

Les fonctions Lambda définies par l'utilisateur utilisent leAWS IoT GreengrassMachine Learning SDK pour soumettre des demandes d'inférence au service d'inférence local. Le service effectue l'inférence locale sur une image d'entrée et renvoie une liste de prédictions pour chaque objet détecté dans l'image. Chaque prédiction contient une catégorie d'objet, un score de fiabilité de prédiction et des coordonnées en pixels qui spécifient un cadre de délimitation autour de l'objet prédit.

AWS IoT Greengrassfournit des connecteurs ML Object Detection pour plusieurs plateformes :

Prérequis

Ces connecteurs possèdent les exigences suivantes :

Exigences du modèle de détection d'objets

Les connecteurs ML Object Detection prennent en charge les types de modèles de détection d'objet Single Shot Multibox Detector (SSD) et You Only Look Once (YOLO) v3. Vous pouvez utiliser les composants de détection d'objets fournis par GluonCV pour former le modèle avec votre propre ensemble de données. Vous pouvez également utiliser des modèles préformés depuis GluonCV Model Zoo :

Votre modèle de détection d'objets doit être formé avec 512 x 512 images d'entrée. Les modèles préformés du GluonCV Model Zoo répondent déjà à cette exigence.

Les modèles de détection d'objets formés doivent être compilés avec le kit SageMaker Compilateur Neo deep learning. Lors de la compilation, assurez-vous que le matériel cible correspond au matériel de votre appareil Greengrass principal. Pour de plus amples informations, veuillez consulter SageMaker Neodans leAmazon SageMaker Manuel du développeur.

Le modèle compilé doit être ajouté en tant que ressource d'apprentissage-machine (Source du modèle Amazon S3) au même groupe Greengrass que le connecteur.

Paramètres du connecteur

Ces connecteurs fournissent les paramètres suivants.

Exemple de création de connecteur (AWS CLI)

La commande CLI suivante permet de créer unConnectorDefinitionavec une version initiale qui contient un connecteur ML Object Detection. Cet exemple crée une instance du connecteur ML Object Detection ARMv7l.

aws greengrass create-connector-definition --name MyGreengrassConnectors --initial-version '{
    "Connectors": [
        {
            "Id": "MyObjectDetectionConnector",
            "ConnectorArn": "arn:aws:greengrass:region::/connectors/ObjectDetectionARMv7/versions/1",
            "Parameters": {
                "MLModelDestinationPath": "/path-to-model",
                "MLModelResourceId": "my-ml-resource",
                "LocalInferenceServiceName": "objectDetection",
                "LocalInferenceServiceTimeoutSeconds": "10",
                "LocalInferenceServiceMemoryLimitKB": "500000",
                "MLFeedbackConnectorConfigId" : "object-detector-random-sampling"
            }
        }
    ]
}'

DansAWS IoT Greengrass, vous pouvez ajouter un connecteur à partir duConnecteurs. Pour plus d'informations, consultez Mise en route avec les connecteurs Greengrass (console).

Données d'entrée

Ces connecteurs acceptent un fichier image comme entrée. Les fichiers image d'entrée doivent être au format jpeg ou png. Pour plus d'informations, consultez Exemple d'utilisation.

Ces connecteurs n'acceptent pas les messages MQTT comme données d'entrée.

Données de sortie

Ces connecteurs renvoient une liste formatée des résultats de prédiction pour les objets identifiés dans l'image d'entrée :

     {
         "prediction": [
             [
                 14,
                 0.9384938478469849,
                 0.37763649225234985,
                 0.5110225081443787,
                 0.6697432398796082,
                 0.8544386029243469
             ],
             [
                 14,
                 0.8859519958496094,
                 0,
                 0.43536216020584106,
                 0.3314110040664673,
                 0.9538808465003967
             ],
             [
                 12,
                 0.04128098487854004,
                 0.5976729989051819,
                 0.5747185945510864,
                 0.704264223575592,
                 0.857937216758728
             ],
             ...
         ]
     }

Chaque prédiction de la liste est contenue entre crochets et contient six valeurs :

Ces connecteurs ne publient pas de messages MQTT en tant que données de sortie.

Exemple d'utilisation

L'exemple de fonction Lambda suivant utilise leAWS IoT GreengrassKit SDK de Machine Learningpour interagir avec un connecteur de détection d'objets ML.

L'exemple initialise un client de kit de développement logiciel et appelle de façon synchrone la fonction invoke_inference_service du SDK pour appeler le service d'inférence local. Il transmet le type d'algorithme, le nom de service, le type d'image et le contenu de l'image. Ensuite, l'exemple analyse la réponse du service pour obtenir les résultats probables (prédictions).

import logging
from threading import Timer

import numpy as np

import greengrass_machine_learning_sdk as ml

# We assume the inference input image is provided as a local file
# to this inference client Lambda function.
with open('/test_img/test.jpg', 'rb') as f:
    content = bytearray(f.read())

client = ml.client('inference')

def infer():
    logging.info('invoking Greengrass ML Inference service')

    try:
        resp = client.invoke_inference_service(
            AlgoType='object-detection',
            ServiceName='objectDetection',
            ContentType='image/jpeg',
            Body=content
        )
    except ml.GreengrassInferenceException as e:
        logging.info('inference exception {}("{}")'.format(e.__class__.__name__, e))
        return
    except ml.GreengrassDependencyException as e:
        logging.info('dependency exception {}("{}")'.format(e.__class__.__name__, e))
        return

    logging.info('resp: {}'.format(resp))
    predictions = resp['Body'].read().decode("utf-8")
    logging.info('predictions: {}'.format(predictions))
    predictions = eval(predictions) 

    # Perform business logic that relies on the predictions.
    
    # Schedule the infer() function to run again in ten second.
    Timer(10, infer).start()
    return

infer()

def function_handler(event, context):
    return

Leinvoke_inference_servicedans la fonctionAWS IoT GreengrassLe kit de développement logiciel Machine Learning accepte les arguments suivants.

Installation de dépendances d'exécution Neo Deep Learning sur le noyau AWS IoT Greengrass

Les connecteurs ML Object Detection sont regroupés avec le kit SageMaker Exécution Neo deep learning (DLR). Les connecteurs utilisent le runtime pour servir le modèle d'apprentissage-machine. Pour utiliser ces connecteurs, vous devez installer les dépendances pour le DLR sur votre appareil principal.

Avant d'installer les dépendances MXNet, assurez-vous que les bibliothèques système requises (avec les versions minimales spécifiées) sont présentes sur l'appareil.

Journalisation et dépannage

En fonction des paramètres de votre groupe, les journaux d'événements et d'erreurs sont écrits dans CloudWatch Journaux, le système de fichiers local ou les deux. Les journaux de ce connecteur utilisent le préfixe LocalInferenceServiceName. Si le connecteur se comporte de manière inattendue, vérifiez les journaux du connecteur. Ces derniers contiennent généralement des informations de débogage utiles, telles que les dépendances de bibliothèque ML manquantes ou la cause d'une panne de démarrage d'un connecteur.

Si l'icôneAWS IoT Greengrassgroupe est configuré pour écrire des journaux locaux, le connecteur écrit les fichiers journaux dansgreengrass-root/ggc/var/log/user/region/aws/. Pour plus d'informations sur la journalisation Greengrass, consultezSurveillance avec les journaux AWS IoT Greengrass.

Utilisez les informations suivantes pour résoudre les problèmes liés aux connecteurs ML Object Detection.

Bibliothèques système requises

Les onglets suivants répertorient les bibliothèques système requises pour chaque connecteur ML Object Detection.

Problèmes

sudo ln /dev/null /dev/raw1394

Licences

Les connecteurs ML Object Detection incluent les logiciels et licences tiers suivants :

Ce connecteur est libéré sous leContrat de licence du logiciel Greengrass Core.

Consulter aussi