ML 物件偵測連接器

ML 物件偵測連接器提供在AWS IoT Greengrass核心。此本機推論服務會使用 SageMaker Neo 深度學習編譯器。支持兩種類型的對象檢測模型：Single Shot Multibox Detector (SSD) 和 YOLO Only Look Once (YOLO) v3。如需詳細資訊，請參閱物件偵測模型需求。

用户定義的 Lambda 函數使用AWS IoT GreengrassMachine Learning SDK，將推論請求提交至本機推論服務。此服務會在輸入影像上執行本機推論，並針對影像中偵測到的每個物件傳回預測清單。每個預測都包含一個物件類別、預測可信度分數，以及指定預測物件之週框方塊的像素座標。

AWS IoT Greengrass提供適用於多個平台的 ML 物件偵測連接器：

要求

這些連接器有下列要求：

物件偵測模型需求

ML 物件偵測連接器支援 Single Shot Multibox Detector (SSD) 和 YOLO Only Look Once (YOLO) v3 物件偵測模型類型。您可以使用 GluonCV 提供的物件偵測元件，搭配您自己的資料集來訓練模型。或者，您可以使用來自 GluonCV Model Zoo 的預先訓練模型：

您的物件偵測模型必須使用 512 x 512 輸入影像進行訓練。來自 GluonCV Model Zoo 的預先訓練模型已符合此需求。

經過訓練的物件偵測模型必須使用 SageMaker Neo 深度學習編譯器。編譯時，請確定目標硬體符合 Greengrass 核心裝置的硬體。如需詳細資訊，請參閱「」 SageMaker Neo中的亞馬遜 SageMaker 開發人員指南。

編譯後的模型必須添加為 ML 資源（Amazon S3 模式來源）設定為與連接器相同的 Greengrass 組。

連接器參數

這些連接器提供下列參數。

建立範例連接器 (AWS CLI)

下列 CLI 命令會建立ConnectorDefinition的最初版本，其中包含 ML 物件偵測連接器。此範例會建立 ML 物件偵測 ARMv7l 連接器的執行個體。

aws greengrass create-connector-definition --name MyGreengrassConnectors --initial-version '{
    "Connectors": [
        {
            "Id": "MyObjectDetectionConnector",
            "ConnectorArn": "arn:aws:greengrass:region::/connectors/ObjectDetectionARMv7/versions/1",
            "Parameters": {
                "MLModelDestinationPath": "/path-to-model",
                "MLModelResourceId": "my-ml-resource",
                "LocalInferenceServiceName": "objectDetection",
                "LocalInferenceServiceTimeoutSeconds": "10",
                "LocalInferenceServiceMemoryLimitKB": "500000",
                "MLFeedbackConnectorConfigId" : "object-detector-random-sampling"
            }
        }
    ]
}'

在 中AWS IoT Greengrass控制台中，您可以從組的連接器(憑證已建立！) 頁面上的名稱有些許差異。如需詳細資訊，請參閱 Greengrass 連接器入門 (主控台)。

輸入資料

這些連接器接受影像檔做為輸入。輸入影像檔必須採用 jpeg 或 png 格式。如需詳細資訊，請參閱 使用範例。

這些連接器不接受 MQTT 消息作為輸入數據。

輸出資料

這些連接器會傳回格式化的清單，列出輸入影像中所識別物件的預測結果：

     {
         "prediction": [
             [
                 14,
                 0.9384938478469849,
                 0.37763649225234985,
                 0.5110225081443787,
                 0.6697432398796082,
                 0.8544386029243469
             ],
             [
                 14,
                 0.8859519958496094,
                 0,
                 0.43536216020584106,
                 0.3314110040664673,
                 0.9538808465003967
             ],
             [
                 12,
                 0.04128098487854004,
                 0.5976729989051819,
                 0.5747185945510864,
                 0.704264223575592,
                 0.857937216758728
             ],
             ...
         ]
     }

清單中的每個預測都包含在方括號中，並包含六個值：

這些連接器不會將 MQTT 消息發佈為輸出數據。

使用範例

下列範例 Lambda 函數使用AWS IoT GreengrassMachine Learning SDK與 ML 對象檢測連接器進行交互。

範例初始化軟體開發套件用戶端，並同步呼叫軟體開發套件的 invoke_inference_service 函數，以叫用本機推論服務。它會傳入演算法類型、服務名稱、映像類型和映像內容。然後，範例會剖析服務回應以獲得機率結果 (預測)。

import logging
from threading import Timer

import numpy as np

import greengrass_machine_learning_sdk as ml

# We assume the inference input image is provided as a local file
# to this inference client Lambda function.
with open('/test_img/test.jpg', 'rb') as f:
    content = bytearray(f.read())

client = ml.client('inference')

def infer():
    logging.info('invoking Greengrass ML Inference service')

    try:
        resp = client.invoke_inference_service(
            AlgoType='object-detection',
            ServiceName='objectDetection',
            ContentType='image/jpeg',
            Body=content
        )
    except ml.GreengrassInferenceException as e:
        logging.info('inference exception {}("{}")'.format(e.__class__.__name__, e))
        return
    except ml.GreengrassDependencyException as e:
        logging.info('dependency exception {}("{}")'.format(e.__class__.__name__, e))
        return

    logging.info('resp: {}'.format(resp))
    predictions = resp['Body'].read().decode("utf-8")
    logging.info('predictions: {}'.format(predictions))
    predictions = eval(predictions) 

    # Perform business logic that relies on the predictions.
    
    # Schedule the infer() function to run again in ten second.
    Timer(10, infer).start()
    return

infer()

def function_handler(event, context):
    return

所以此invoke_inference_service函數AWS IoT GreengrassMachine Learning SDK 接受下列引數。

在 AWS IoT Greengrass 核心上安裝 Neo 深度學習執行時間相依性

ML 物件偵測連接器會與 SageMaker Neo 深度學習執行時間 (DLR)。連接器使用執行時間來提供 ML 模型。若要使用這些連接器，您必須在核心裝置上安裝 DLR 的相依性。

在安裝 DLR 相依性之前，請確保所需的系統程式庫 (使用指定的最低版本) 存在於裝置上。

記錄和疑難排解

根據您的組設定，事件和錯誤日誌會寫入 CloudWatch 日誌、本機檔案系統或兩者。來自這個連接器的日誌使用字首 LocalInferenceServiceName。如果連接器發生非預期的行為，請檢查連接器的日誌。日誌通常會包含有用的偵錯資訊，例如遺失機器學習程式庫相依性或連接器啟動失敗的原因。

如果AWS IoT Greengrass組設定為寫入本機日誌，則連接器會將日誌檔案寫入greengrass-root/ggc/var/log/user/region/aws/。如需 Greengrass 日誌記錄的詳細資訊，請參使用 AWS IoT Greengrass 日誌進行監控。

使用下列資訊來協助您診斷 ML 物件偵測連接器的故障問題。

必要系統程式庫

下列標籤列出每個 ML 物件偵測連接器所需的系統程式庫。

問題

sudo ln /dev/null /dev/raw1394

授權

ML 物件偵測連接器包含下列第三方軟體/授權：

此連接器在Greengrass Core 軟體授權合約。

另請參閱