ML 对象检测连接器

ML 对象检测连接器提供在 AWS IoT Greengrass 核心上运行的机器学习 (ML) 推理服务。该本地推理服务使用由 SageMaker Neo 深度学习编译器编译的对象检测模型执行对象检测。支持两种类型的对象检测模型：Single Shot Multibox Detector（单步多框检测器，SSD）和 You Only Look Once（只用看一遍，YOLO）v3。有关更多信息，请参阅对象检测模型要求。

用户定义的 Lambda 函数使用 AWS IoT Greengrass 机器学习开发工具包将推理请求提交给本地推理服务。该服务对输入图像执行本地推理，并针对图像中检测到的每个对象返回预测列表。每个预测都包含一个对象类别、一个预测置信度得分和像素坐标，这些像素坐标指定围绕预测对象的边界框。

AWS IoT Greengrass 为多个平台提供 ML 对象检测连接器：

要求

这些连接器具有以下要求：

对象检测模型要求

ML 对象检测连接器支持单步多框检测器（SSD）和只用看一遍（YOLO）v3 对象检测模型类型。您可以使用 GluonCV 提供的对象检测组件来通过您自己的数据集训练模型。或者，您可以使用 GluonCV Model Zoo 中的预训练模型：

您的对象检测模型必须使用 512 x 512 输入图像进行训练。来自 GluonCV Model Zoo 的预训练模型已经满足了这一要求。

必须使用 SageMaker Neo 深度学习编译器编译训练的对象检测模型。编译时，请确保目标硬件与您的 Greengrass 核心设备的硬件匹配。有关更多信息，请参阅 Amazon SageMaker 开发人员指南中的 SageMaker Neo。

必须将已编译的模型作为 ML 资源（Amazon S3 模型源）添加到与连接器相同的 Greengrass 组中。

连接器参数

这些连接器提供以下参数。

创建连接器示例 (AWS CLI)

以下 CLI 命令创建一个 ConnectorDefinition，其初始版本包含 ML 对象检测连接器。以下示例创建 ML 对象检测 ARMv7l 连接器的实例。

aws greengrass create-connector-definition --name MyGreengrassConnectors --initial-version '{
    "Connectors": [
        {
            "Id": "MyObjectDetectionConnector",
            "ConnectorArn": "arn:aws:greengrass:region::/connectors/ObjectDetectionARMv7/versions/1",
            "Parameters": {
                "MLModelDestinationPath": "/path-to-model",
                "MLModelResourceId": "my-ml-resource",
                "LocalInferenceServiceName": "objectDetection",
                "LocalInferenceServiceTimeoutSeconds": "10",
                "LocalInferenceServiceMemoryLimitKB": "500000",
                "MLFeedbackConnectorConfigId" : "object-detector-random-sampling"
            }
        }
    ]
}'

在 AWS IoT Greengrass 控制台中，您可以从组的连接器页面添加连接器。有关更多信息，请参阅Greengrass 连接器入门（控制台）。

输入数据

这些连接器接受一个图像文件作为输入。输入图像文件必须为 jpeg 或 png 格式。有关更多信息，请参阅用法示例。

这些连接器不接受 MQTT 消息作为输入数据。

输出数据

这些连接器返回输入图像中识别的对象的预测结果的格式化列表：

     {
         "prediction": [
             [
                 14,
                 0.9384938478469849,
                 0.37763649225234985,
                 0.5110225081443787,
                 0.6697432398796082,
                 0.8544386029243469
             ],
             [
                 14,
                 0.8859519958496094,
                 0,
                 0.43536216020584106,
                 0.3314110040664673,
                 0.9538808465003967
             ],
             [
                 12,
                 0.04128098487854004,
                 0.5976729989051819,
                 0.5747185945510864,
                 0.704264223575592,
                 0.857937216758728
             ],
             ...
         ]
     }

列表中的每个预测都包含在方括号中，并包含六个值：

这些连接器不发布 MQTT 消息来作为输出数据。

用法示例

以下示例 Lambda 函数使用 AWS IoT Greengrass 机器学习软件开发工具包与 ML 对象检测连接器进行交互。

该示例初始化一个开发工具包客户端，并同步调用该开发工具包的 invoke_inference_service 函数来调用本地推理服务。它会传入算法类型、服务名称、映像类型和映像内容。然后，该示例会解析服务响应以获取概率结果（预测）。

import logging
from threading import Timer

import numpy as np

import greengrass_machine_learning_sdk as ml

# We assume the inference input image is provided as a local file
# to this inference client Lambda function.
with open('/test_img/test.jpg', 'rb') as f:
    content = bytearray(f.read())

client = ml.client('inference')

def infer():
    logging.info('invoking Greengrass ML Inference service')

    try:
        resp = client.invoke_inference_service(
            AlgoType='object-detection',
            ServiceName='objectDetection',
            ContentType='image/jpeg',
            Body=content
        )
    except ml.GreengrassInferenceException as e:
        logging.info('inference exception {}("{}")'.format(e.__class__.__name__, e))
        return
    except ml.GreengrassDependencyException as e:
        logging.info('dependency exception {}("{}")'.format(e.__class__.__name__, e))
        return

    logging.info('resp: {}'.format(resp))
    predictions = resp['Body'].read().decode("utf-8")
    logging.info('predictions: {}'.format(predictions))
    predictions = eval(predictions) 

    # Perform business logic that relies on the predictions.
    
    # Schedule the infer() function to run again in ten second.
    Timer(10, infer).start()
    return

infer()

def function_handler(event, context):
    return

AWS IoT Greengrass 机器学习开发工具包中的 invoke_inference_service 函数接受以下参数：

在 AWS IoT Greengrass 核心上安装 Neo 深度学习运行时依赖项

ML 对象检测连接器与 SageMaker Neo 深度学习运行时 (DLR) 捆绑在一起。连接器使用此运行时来处理 ML 模型。要使用这些连接器，必须在核心设备上安装 DLR 的依赖项。

在您安装 DLR 依赖项之前，请确保设备上存在所需的系统库（具有指定的最低版本）。

日志记录和故障排除

根据您的组设置，事件和错误日志会写入到 CloudWatch 日志和/或本地文件系统。此连接器中的日志使用前缀 LocalInferenceServiceName。如果连接器出现异常行为，请检查连接器日志。其中经常包含有用的调试信息，例如缺失 ML 库依赖项或连接器启动故障的原因。

如果将 AWS IoT Greengrass 组配置为写入本地日志，则连接器会将日志文件写入到 greengrass-root/ggc/var/log/user/region/aws/。有关 Greengrass 日志记录的更多信息，请参阅 利用 AWS IoT Greengrass 日志进行监控。

可以使用以下信息帮助解决 ML 对象检测连接器问题。

所需系统库

以下选项卡列出了每个 ML 对象检测连接器所需的系统库。

问题

sudo ln /dev/null /dev/raw1394

许可证

ML 对象检测连接器包含以下第三方软件/许可：

此连接器在 Greengrass Core 软件许可协议下发布。

另请参阅