Conector de detección de ML Object

Los conectores Object Detection de ML proporcionan un servicio de inferencia de machine learning (ML) que se ejecuta en el núcleo de AWS IoT Greengrass. Este servicio de inferencia local realiza el recopilado por el compilador de aprendizaje profundo SageMaker Neo. Se admiten dos tipos de modelos de detección de objetos: Single Shot Multibox Detector (SSD) y You Only Look Once (YOLO) v3. Para obtener más información, consulte Requisitos del modelo de detección de objetos.

Las funciones de Lambda definidas por el usuario utilizan el SDK de AWS IoT Greengrass de machine learning para enviar solicitudes de inferencia al servicio de inferencia local. El servicio realiza la inferencia local en una imagen de entrada y devuelve una lista de predicciones para cada objeto detectado en la imagen. Cada predicción contiene una categoría de objeto, una puntuación de confianza de predicción y coordenadas de píxeles que especifican un cuadro delimitador alrededor del objeto previsto.

AWS IoT Greengrass proporciona conectores de detección de objetos de ML para múltiples plataformas:

Requisitos

Estos conectores tienen los siguientes requisitos:

Requisitos del modelo de detección de objetos

Los conectores de Detección de objetosde ML admiten los tipos de modelos de detección de objetos Single Shot multibox Detector (SSD) y You Only Look Once (YOLO) v3. Puede utilizar los componentes de detección de objetos proporcionados por GluonCV para entrenar el modelo con su propio conjunto de datos. También puede utilizar modelos entrenados previamente de GluonCV Model Zoo:

El modelo de detección de objetos debe entrenarse con imágenes de entrada de 512 x 512. Los modelos entrenados previamente de GluonCV Model Zoo ya cumplen este requisito.

Los modelos de detección de objetos entrenados deben compilarse con con el compilador de aprendizaje profundo SageMaker Neo. Al compilar, asegúrese de que el hardware de destino coincida con el hardware del dispositivo de Greengrass Core. Para obtener más información, consulte SageMaker Neo en la Guía para desarrolladores de Amazon SageMaker.

El modelo compilado debe añadirse como un recurso de ML (origen del modelo de Amazon S3) al mismo grupo de Greengrass que el conector.

Parámetros de conector

Estos conectores proporcionan los siguientes parámetros.

Ejemplo de creación de conector (AWS CLI)

El siguiente comando de la CLI crea una ConnectorDefinition con una versión inicial que contiene un conector Object Detection de ML. Este ejemplo crea una instancia del conector Object Detection de ML ARMv7l.

aws greengrass create-connector-definition --name MyGreengrassConnectors --initial-version '{
    "Connectors": [
        {
            "Id": "MyObjectDetectionConnector",
            "ConnectorArn": "arn:aws:greengrass:region::/connectors/ObjectDetectionARMv7/versions/1",
            "Parameters": {
                "MLModelDestinationPath": "/path-to-model",
                "MLModelResourceId": "my-ml-resource",
                "LocalInferenceServiceName": "objectDetection",
                "LocalInferenceServiceTimeoutSeconds": "10",
                "LocalInferenceServiceMemoryLimitKB": "500000",
                "MLFeedbackConnectorConfigId" : "object-detector-random-sampling"
            }
        }
    ]
}'

En la consola AWS IoT Greengrass, puede añadir un conector desde la página de Conectores del grupo. Para obtener más información, consulte Introducción a los conectores de Greengrass (consola).

Datos de entrada

Estos conectores aceptan un archivo de imagen como entrada. Los archivos de imagen de entrada deben tener el formato jpeg o png. Para obtener más información, consulte Ejemplo de uso.

Estos conectores no aceptan mensajes MQTT como datos de entrada.

Datos de salida

Estos conectores devuelven una lista con formato de resultados de predicciones para los objetos identificados en la imagen de entrada:

     {
         "prediction": [
             [
                 14,
                 0.9384938478469849,
                 0.37763649225234985,
                 0.5110225081443787,
                 0.6697432398796082,
                 0.8544386029243469
             ],
             [
                 14,
                 0.8859519958496094,
                 0,
                 0.43536216020584106,
                 0.3314110040664673,
                 0.9538808465003967
             ],
             [
                 12,
                 0.04128098487854004,
                 0.5976729989051819,
                 0.5747185945510864,
                 0.704264223575592,
                 0.857937216758728
             ],
             ...
         ]
     }

Cada predicción de la lista está incluida entre corchetes y contiene seis valores:

Estos conectores no publican mensajes MQTT como datos de salida.

Ejemplo de uso

El siguiente ejemplo de función de Lambda utiliza el SDK de Machine Learning AWS IoT Greengrass para interactuar con un conector de detección de objetos de ML.

En el ejemplo se inicializa un cliente SDK y de forma sincrónica llama a la función invoke_inference_service del SDK para invocar el servicio de inferencia local. Pasa el tipo de algoritmo, el nombre del servicio, el tipo de imagen y contenido de imágenes. A continuación, el ejemplo analiza la respuesta del servicio para obtener los resultados de probabilidad (predicciones).

import logging
from threading import Timer

import numpy as np

import greengrass_machine_learning_sdk as ml

# We assume the inference input image is provided as a local file
# to this inference client Lambda function.
with open('/test_img/test.jpg', 'rb') as f:
    content = bytearray(f.read())

client = ml.client('inference')

def infer():
    logging.info('invoking Greengrass ML Inference service')

    try:
        resp = client.invoke_inference_service(
            AlgoType='object-detection',
            ServiceName='objectDetection',
            ContentType='image/jpeg',
            Body=content
        )
    except ml.GreengrassInferenceException as e:
        logging.info('inference exception {}("{}")'.format(e.__class__.__name__, e))
        return
    except ml.GreengrassDependencyException as e:
        logging.info('dependency exception {}("{}")'.format(e.__class__.__name__, e))
        return

    logging.info('resp: {}'.format(resp))
    predictions = resp['Body'].read().decode("utf-8")
    logging.info('predictions: {}'.format(predictions))
    predictions = eval(predictions) 

    # Perform business logic that relies on the predictions.
    
    # Schedule the infer() function to run again in ten second.
    Timer(10, infer).start()
    return

infer()

def function_handler(event, context):
    return

La función invoke_inference_service en el SDK de machine learning de AWS IoT Greengrass acepta los argumentos siguientes.

Instalación de las dependencias del entorno de ejecución de aprendizaje profundo de Neo en el núcleo de AWS IoT Greengrass

Los conectores de detección de objetos de ML vienen incluidos en el tiempo de ejecución del aprendizaje profundo (DLR) de Sagemaker Neo. Los conectores utilizan el tiempo de ejecución para ofrecer el modelo de ML. Para utilizar estos conectores, debe instalar las dependencias para el DLR en su dispositivo principal.

Antes de instalar las dependencias de DLR, asegúrese de que las bibliotecas del sistema requeridas (con la versiones mínimas especificadas) están presentes en el dispositivo.

Registro y solución de problemas

En función de su configuración del grupo, los registros de evento y error se escriben en el registro de CloudWatch, el sistema de archivos local o ambos. Los registros de este conector utilizan el prefijo LocalInferenceServiceName. Si el conector se comporta de forma inesperada, compruebe los registros del conector. Estos suelen contener información de depuración útil, como, por ejemplo, que falta una dependencia de biblioteca de ML o la causa de un error de inicio del conector.

Si el grupo AWS IoT Greengrass está configurado para escribir registros locales, el conector escribe los archivos de registro en greengrass-root/ggc/var/log/user/region/aws/. Para obtener más información sobre los registros de Greengrass, consulte Monitorización con registros de AWS IoT Greengrass.

Utilice la siguiente información como ayuda para solucionar problemas con los conectores de la Detection de objetos de ML.

Bibliotecas del sistema obligatorias

Las siguientes pestañas muestran las bibliotecas del sistema necesarias para cada conector Object Detection de ML.

Problemas

sudo ln /dev/null /dev/raw1394

Licencias

Los conectores Object Detection de ML incluyen las siguientes licencias y software de terceros:

Este conector se publica bajo el contrato de licencia de software de Greengrass Core.

Véase también