Connettore ML Object Detection

Rilevamento di oggetti MLconnettorifornisce un servizio di inferenza Machine Learning (ML) eseguito sulAWS IoT Greengrassnucleo. Questo servizio di inferenza locale esegue il rilevamento dell'oggetto utilizzando un modello di rilevamento dell'oggetto compilato dal SageMaker Compiler Neo Deep Learning. Sono supportati due tipi di modelli di rilevamento di oggetti: Single Shot Multibox Detector (SSD) e si guarda solo una volta (YOLO) v3. Per ulteriori informazioni, consulta la sezione relativa ai requisiti del modello di rilevamento dell'oggetto.

Le funzioni Lambda definite dall'utente utilizzano ilAWS IoT GreengrassMachine Learning SDK per inviare le richieste di inferenza al servizio di inferenza locale. Il servizio esegue l'inferenza locale su un'immagine di input e restituisce un elenco di previsioni per ogni oggetto rilevato nell'immagine. Ogni previsione contiene una categoria dell'oggetto, un punteggio di affidabilità della previsione e le coordinate dei pixel che specificano un riquadro di delimitazione intorno all'oggetto previsto.

AWS IoT Greengrassfornisce i connettori ML Object Detection per più piattaforme:

Requisiti

Questi connettori presentano i seguenti requisiti:

Requisiti del modello di rilevamento dell'oggetto

I connettori ML Object Detector supportano i tipi di modello di rilevamento dell'oggetto Single Shot Multibox Detector (SSD) e You Only Look Once (YOLO) v3. Puoi utilizzare i componenti di rilevamento dell'oggetto forniti da GluonCV per eseguire il training del modello con il tuo set di dati. In alternativa, puoi utilizzare modelli pre-formati da GluonCV Model Zoo:

Il training del modello di rilevamento dell'oggetto deve essere eseguito con immagini di input 512 x 512. I modelli pre-formati da GluonCV Model Zoo soddisfano già questo requisito.

I modelli di rilevamento dell'oggetto con training devono essere compilati con SageMaker Compiler Neo Deep Learning. Durante la compilazione, assicurati che l'hardware di destinazione corrisponda all'hardware del dispositivo core Greengrass. Per ulteriori informazioni, consulta SageMaker NeonellaAmazon SageMaker Guida per lo Sviluppatore.

Il modello compilato deve essere aggiunto come una risorsa ML (Modello Amazon S3 di origine) allo stesso gruppo Greengrass del connettore.

Parametri connettore

Questi connettori forniscono i seguenti parametri.

Esempio di creazione di un connettore (AWS CLI)

Il seguente comando CLI crea unConnectorDefinitioncon una versione iniziale che contiene un connettore ML Object Detection. In questo esempio viene creata un'istanza del connettore ML Object Detection ARMv7l.

aws greengrass create-connector-definition --name MyGreengrassConnectors --initial-version '{
    "Connectors": [
        {
            "Id": "MyObjectDetectionConnector",
            "ConnectorArn": "arn:aws:greengrass:region::/connectors/ObjectDetectionARMv7/versions/1",
            "Parameters": {
                "MLModelDestinationPath": "/path-to-model",
                "MLModelResourceId": "my-ml-resource",
                "LocalInferenceServiceName": "objectDetection",
                "LocalInferenceServiceTimeoutSeconds": "10",
                "LocalInferenceServiceMemoryLimitKB": "500000",
                "MLFeedbackConnectorConfigId" : "object-detector-random-sampling"
            }
        }
    ]
}'

NellaAWS IoT Greengrassconsole, è possibile aggiungere un connettore dal gruppoConnettori(Certificato creato). Per ulteriori informazioni, consulta la pagina Nozioni di base sui connettori Greengrass (console) .

Dati di input

Questi connettori accettano un file di immagine come input. I file di immagine di input devono essere in formato png o jpeg. Per ulteriori informazioni, consulta la pagina Esempio di utilizzo .

Questi connettori non accettano messaggi MQTT come dati di input.

Dati di output

Questi connettori restituiscono un elenco formattato di risultati delle previsioni per gli oggetti identificati nell'immagine di input:

     {
         "prediction": [
             [
                 14,
                 0.9384938478469849,
                 0.37763649225234985,
                 0.5110225081443787,
                 0.6697432398796082,
                 0.8544386029243469
             ],
             [
                 14,
                 0.8859519958496094,
                 0,
                 0.43536216020584106,
                 0.3314110040664673,
                 0.9538808465003967
             ],
             [
                 12,
                 0.04128098487854004,
                 0.5976729989051819,
                 0.5747185945510864,
                 0.704264223575592,
                 0.857937216758728
             ],
             ...
         ]
     }

Ogni previsione nell'elenco è contenuta tra parentesi quadre e contiene sei valori:

Questi connettori non pubblicano messaggi MQTT come dati di output.

Esempio di utilizzo

La funzione Lambda di esempio seguente utilizza ilAWS IoT GreengrassSDK di Machine Learningper interagire con un connettore ML Object Detection.

In questo esempio viene inizializzato un client SDK e viene chiamata in modo sincrono la funzione invoke_inference_service di SDK per richiamare il servizio di inferenza locale. Trasferisce il tipo di algoritmo, il nome del servizio, il tipo di immagine e il contenuto dell'immagine. Quindi, l'esempio analizza la risposta del servizio per ottenere i risultati di probabilità (previsioni).

import logging
from threading import Timer

import numpy as np

import greengrass_machine_learning_sdk as ml

# We assume the inference input image is provided as a local file
# to this inference client Lambda function.
with open('/test_img/test.jpg', 'rb') as f:
    content = bytearray(f.read())

client = ml.client('inference')

def infer():
    logging.info('invoking Greengrass ML Inference service')

    try:
        resp = client.invoke_inference_service(
            AlgoType='object-detection',
            ServiceName='objectDetection',
            ContentType='image/jpeg',
            Body=content
        )
    except ml.GreengrassInferenceException as e:
        logging.info('inference exception {}("{}")'.format(e.__class__.__name__, e))
        return
    except ml.GreengrassDependencyException as e:
        logging.info('dependency exception {}("{}")'.format(e.__class__.__name__, e))
        return

    logging.info('resp: {}'.format(resp))
    predictions = resp['Body'].read().decode("utf-8")
    logging.info('predictions: {}'.format(predictions))
    predictions = eval(predictions) 

    # Perform business logic that relies on the predictions.
    
    # Schedule the infer() function to run again in ten second.
    Timer(10, infer).start()
    return

infer()

def function_handler(event, context):
    return

Lainvoke_inference_servicefunzione nellaAWS IoT GreengrassMachine Learning SDK accetta i seguenti argomenti.

Installazione delle dipendenze Neo Deep Learning Runtime su AWS IoT Greengrass Core

I connettori ML Object Detection sono raggruppati con SageMaker Neo Deep Learning Runtime (DLR). I connettori utilizzano il runtime per servire il modello ML. Per utilizzare questi connettori, devi installare le dipendenze per il DLR sul dispositivo core.

Prima di installare le dipendenze DLR, assicurati che le librerie di sistema richieste (nelle versioni minime specificate) siano presenti sul dispositivo.

Registrazione e risoluzione dei problemi

A seconda delle impostazioni del gruppo, i log degli eventi e degli errori vengono scritti in CloudWatch Registri, nel file system locale o in entrambi. I log di questo connettore utilizzano il prefisso LocalInferenceServiceName. Se il connettore si comporta inaspettatamente, controlla i log del connettore. Questi di solito contengono utili informazioni di debug, ad esempio una dipendenza della libreria ML mancante o la causa di un errore di avvio del connettore.

Se il fileAWS IoT GreengrassIl gruppo è configurato per scrivere i log locali, il connettore scrive i file di log ingreengrass-root/ggc/var/log/user/region/aws/. Per ulteriori informazioni sulla registrazione di Greengrass, consultaMonitoraggio con i log AWS IoT Greengrass.

Utilizza le informazioni seguenti per risolvere i problemi relativi ai connettori ML Object Detection.

Librerie di sistema richieste

Le seguenti schede elencano le librerie di sistema richieste per ogni connettore ML Object Detection.

Problemi

sudo ln /dev/null /dev/raw1394

Licenze

I connettori ML Object Detection includono il software e le licenze di terze parti indicati di seguito:

Questo connettore viene rilasciato sottoAccordo di licenza del software Greengrass Core.

Consultare anche