Objekterkennungsstecker

Die ML-ObjekterkennungSteckverbinderstellen Sie einen Machine Learning (ML) -Inferenzservice zur Verfügung, der auf demAWS IoT Greengrass-Kern. Dieser lokale Inferenzservice führt die Objekterkennung mithilfe eines vom SageMaker Neo Deep Learning Compiler. Zwei Arten von Objekterkennungsmodellen werden unterstützt: Single Shot Multibox Detector (SSD) und Sie schauen nur einmal (YOLO) v3. Weitere Informationen finden Sie unter Objekterkennungsmodell-Anforderungen.

Benutzerdefinierte Lambda-Funktionen verwenden dieAWS IoT GreengrassMachine Learning SDK zur Übermittlung von Inferenzanforderungen an den lokalen Inferenzservice. Der Service führt eine lokale Inferenz für ein Eingabebild aus und gibt eine Liste mit Voraussagen für jedes im Bild erkannte Objekt zurück. Jede Voraussage enthält eine Objektkategorie, einen Zuverlässigkeitswert für Voraussagen und Pixelkoordinaten, die einen Begrenzungsrahmen um das vorhergesagte Objekt angeben.

AWS IoT Greengrassstellt ML-Objekterkennungs-Konnektoren für mehrere Plattformen bereit:

Voraussetzungen

Für diese Konnektoren gelten die folgenden Anforderungen:

Objekterkennungsmodell-Anforderungen

Die ML-Objekterkennungs-Konnektoren unterstützen Objekterkennungsmodelle des Typs Single Shot Multibox Detector (SSD) und You Only Look Once (YOLO) v3. Sie können die von GluonCV bereitgestellten Objekterkennungskomponenten verwenden, um das Modell mit Ihrem eigenen Datensatz zu trainieren. Sie können auch vorab trainierte Modelle aus dem GluonCV Model Zoo verwenden:

Ihr Objekterkennungsmodell muss mit 512-x-512-Eingabebildern trainiert worden sein. Die vortrainierten Modelle aus dem GluonCV Model Zoo erfüllen diese Anforderung bereits.

Trainierte Objekterkennungsmodelle müssen mit dem worden sein SageMaker Neo Deep Learning Compiler. Stellen Sie beim Kompilieren sicher, dass die Zielhardware mit der Hardware Ihres Greengrass Core-Geräts übereinstimmt. Weitere Informationen finden Sie unter SageMaker NeoimAmazon SageMaker Entwicklerhandbuchaus.

Das kompilierte Modell muss als ML-Ressource hinzugefügt werden (Amazon S3 S3-Modellquelle) zur selben Greengrass-Gruppe wie der Konnektor.

Connector-Parameter

Diese Konnektoren stellen die folgenden Parameter bereit.

Beispiel für das Erstellen eines Konnektors (AWS CLI)

Der folgende -CLI-Befehl erstellt einenConnectorDefinitionmit einer Initialversion, die einen ML-Objekterkennungskonnektor enthält. In diesem Beispiel wird eine Instance des -ARMv7l-Konnektors für die ML-Objekterkennung erstellt.

aws greengrass create-connector-definition --name MyGreengrassConnectors --initial-version '{
    "Connectors": [
        {
            "Id": "MyObjectDetectionConnector",
            "ConnectorArn": "arn:aws:greengrass:region::/connectors/ObjectDetectionARMv7/versions/1",
            "Parameters": {
                "MLModelDestinationPath": "/path-to-model",
                "MLModelResourceId": "my-ml-resource",
                "LocalInferenceServiceName": "objectDetection",
                "LocalInferenceServiceTimeoutSeconds": "10",
                "LocalInferenceServiceMemoryLimitKB": "500000",
                "MLFeedbackConnectorConfigId" : "object-detector-random-sampling"
            }
        }
    ]
}'

In derAWS IoT Greengrass-Konsole können Sie einen Konnektor aus der Gruppe hinzufügenKonnektorenangezeigten. Weitere Informationen finden Sie unter Erste Schritte mit Greengrass-Konnektoren (Konsole).

Eingabedaten

Diese Konnektoren akzeptieren eine Bilddatei als Eingabe. Eingabebilddateien müssen im jpeg- oder png-Format vorliegen. Weitere Informationen finden Sie unter Nutzungsbeispiel.

Diese Konnektoren akzeptieren keine MQTT-Nachrichten als Eingabedaten.

Ausgabedaten

Diese Konnektoren geben eine formatierte Liste der Voraussageergebnisse für die identifizierten Objekte im Eingabebild zurück:

     {
         "prediction": [
             [
                 14,
                 0.9384938478469849,
                 0.37763649225234985,
                 0.5110225081443787,
                 0.6697432398796082,
                 0.8544386029243469
             ],
             [
                 14,
                 0.8859519958496094,
                 0,
                 0.43536216020584106,
                 0.3314110040664673,
                 0.9538808465003967
             ],
             [
                 12,
                 0.04128098487854004,
                 0.5976729989051819,
                 0.5747185945510864,
                 0.704264223575592,
                 0.857937216758728
             ],
             ...
         ]
     }

Jede Voraussage in der Liste wird von eckigen Klammern umschlossen und enthält sechs Werte:

Diese Konnektoren veröffentlichen keine MQTT-Nachrichten als Ausgabedaten.

Nutzungsbeispiel

Die folgende Lambda-Beispielfunktion verwendet dieAWS IoT GreengrassMachine Learning Learning-SDKum mit einem ML Object Detection Connector zu interagieren.

Das Beispiel initialisiert einen SDK-Client und ruft synchron die Funktion invoke_inference_service des SDK auf, um den lokalen Inferenzdienst aufzurufen. Es wird der Algorithmustyp, der Servicename, der Bildtyp und der Bildinhalt übergeben. Anschließend analysiert das Beispiel die Service-Antwort, um die Wahrscheinlichkeitsergebnisse (Vorhersagen) zu erhalten.

import logging
from threading import Timer

import numpy as np

import greengrass_machine_learning_sdk as ml

# We assume the inference input image is provided as a local file
# to this inference client Lambda function.
with open('/test_img/test.jpg', 'rb') as f:
    content = bytearray(f.read())

client = ml.client('inference')

def infer():
    logging.info('invoking Greengrass ML Inference service')

    try:
        resp = client.invoke_inference_service(
            AlgoType='object-detection',
            ServiceName='objectDetection',
            ContentType='image/jpeg',
            Body=content
        )
    except ml.GreengrassInferenceException as e:
        logging.info('inference exception {}("{}")'.format(e.__class__.__name__, e))
        return
    except ml.GreengrassDependencyException as e:
        logging.info('dependency exception {}("{}")'.format(e.__class__.__name__, e))
        return

    logging.info('resp: {}'.format(resp))
    predictions = resp['Body'].read().decode("utf-8")
    logging.info('predictions: {}'.format(predictions))
    predictions = eval(predictions) 

    # Perform business logic that relies on the predictions.
    
    # Schedule the infer() function to run again in ten second.
    Timer(10, infer).start()
    return

infer()

def function_handler(event, context):
    return

Dieinvoke_inference_serviceFunktion imAWS IoT GreengrassDas Machine Learning SDK akzeptiert die folgenden Argumente.

Installieren von Neo Deep Learning Runtime-Abhängigkeiten im AWS IoT Greengrass Core

Die ML-Objekterkennungs-Konnektoren sind mit dem SageMaker Neo Deep Learning Runtime (DLR) Die Konnektoren verwenden die Laufzeit, um das ML-Modell zu bedienen. Um diese Konnektoren zu verwenden, müssen Sie die Abhängigkeiten für die DLR auf Ihrem Core-Gerät installieren.

Stellen Sie vor der Installation der DLR-Abhängigkeiten sicher, dass die erforderlichen Systembibliotheken (mit den angegebenen Mindestversionen) auf dem Gerät vorhanden sind.

Protokollierung und Problemlösungen

Abhängig von Ihren Gruppeneinstellungen werden Ereignis- und Fehlerprotokolle in geschrieben CloudWatch Protokolle, das lokale Dateisystem oder beides. Protokolle von diesem Konnektor verwenden das Präfix LocalInferenceServiceName. Wenn sich der Konnektor nicht wie erwartet verhält, überprüfen Sie die Protokolle des Konnektors. Diese enthalten in der Regel nützliche Debugging-Informationen, wie z. B. eine fehlende ML-Bibliothek-Abhängigkeit oder die Ursache eines Fehlers beim Starten des Konnektors.

Wenn das SymbolAWS IoT Greengrassgroup ist so konfiguriert, dass lokale Protokolle geschrieben werden, der Konnektor schreibt Protokolldateien ingreengrass-root/ggc/var/log/user/region/aws/aus. Weitere Informationen zur Greengrass-Protokollierung finden Sie unterÜberwachen mit AWS IoT Greengrass-Protokollenaus.

Verwenden Sie die folgenden Informationen für die Problembehandlung bei den -Konnektoren für die ML-Objekterkennung.

Erforderliche Systembibliotheken

Die folgenden Registerkarten listen die für jeden ML-Objekterkennungskonnektor erforderlichen Systembibliotheken auf.

Problembereiche

sudo ln /dev/null /dev/raw1394

Lizenzen

Die ML Object Detection -Konnektoren enthalten die folgende Drittanbieter-Software/Lizenz:

Dieser Konnektor wird unter derLizenzvereinbarung für die Greengrass Core-Softwareaus.

Weitere Informationen finden Sie auch unter