ML オブジェクト検出コネクタ

ML オブジェクト検出コネクタは、AWS IoT Greengrass コアで動作する機械学習 (ML) 推論サービスを提供します。このローカル推論サービスは、SageMaker Neo 深層学習コンパイラでコンパイルされたオブジェクト検出モデルを使用してオブジェクトの検出を実行します。Single Shot Multibox Detector (SSD) と You Only Look Once (YOLO) v3 の 2 種類のオブジェクト検出モデルがサポートされています。詳細については、「オブジェクト検出モデルの要件」を参照してください。

ユーザー定義の Lambda 関数は AWS IoT Greengrass Machine Learning SDK を使用して、ローカル推論サービスに推論リクエストを送信します。このサービスは、入力イメージでローカル推論を実行し、イメージで検出された各オブジェクトの予測のリストを返します。各予測には、オブジェクトカテゴリ、予測の信頼スコア、および予測されたオブジェクトの周囲の境界ボックスを指定するピクセル座標が含まれます。

AWS IoT Greengrass は、複数のプラットフォーム用の ML オブジェクト検出コネクタを提供しています。

要件

これらのコネクタには以下の要件があります。

オブジェクト検出モデルの要件

ML オブジェクト検出コネクタは、Single Shot multibox Detector (SSD) および You Only Look Once (YOLO) v3 オブジェクト検出モデルタイプをサポートします。GluonCV が提供するオブジェクト検出コンポーネントを使用して、独自のデータセットでモデルをトレーニングできます。または、GluonCV Model Zoo から事前にトレーニングされたモデルを使用できます。

オブジェクト検出モデルは、512 x 512 の入力イメージを使用してトレーニングする必要があります。GluonCV Model Zoo の事前トレーニング済みモデルは、すでにこの要件を満たしています。

トレーニングされたオブジェクト検出モデルは、SageMaker Neo 深層学習コンパイラでコンパイルする必要があります。コンパイルするときは、ターゲットハードウェアが Greengrass コアデバイスのハードウェアと一致していることを確認します。詳細については、「Amazon SageMaker デベロッパーガイド」の「Amazon SageMaker とは」を参照してください。

コンパイルされたモデルは、コネクタと同じ Greengrass グループに ML リソース (Amazon S3 モデルソース) として追加する必要があります。

コネクタパラメータ

これらのコネクタでは、以下のパラメータを使用できます。

サンプルコネクタを作成する (AWS CLI)

以下の CLI コマンドは、ML オブジェクト検出コネクタを含む初期バージョンで ConnectorDefinition を作成します。この例では、ML オブジェクト検出 ARMv7l コネクタのインスタンスを作成します。

aws greengrass create-connector-definition --name MyGreengrassConnectors --initial-version '{
    "Connectors": [
        {
            "Id": "MyObjectDetectionConnector",
            "ConnectorArn": "arn:aws:greengrass:region::/connectors/ObjectDetectionARMv7/versions/1",
            "Parameters": {
                "MLModelDestinationPath": "/path-to-model",
                "MLModelResourceId": "my-ml-resource",
                "LocalInferenceServiceName": "objectDetection",
                "LocalInferenceServiceTimeoutSeconds": "10",
                "LocalInferenceServiceMemoryLimitKB": "500000",
                "MLFeedbackConnectorConfigId" : "object-detector-random-sampling"
            }
        }
    ]
}'

AWS IoT Greengrass コンソールでは、グループの [Connectors] (コネクタ) ページからコネクタを追加できます。詳細については、「Greengrass コネクタの開始方法 (コンソール)」を参照してください。

入力データ

これらのコネクタは、イメージファイルを入力として受け入れます。入力イメージファイルは jpeg または png 形式である必要があります。詳細については、「使用例」を参照してください。

これらのコネクタは MQTT メッセージを入力データとして受け入れません。

出力データ

これらのコネクタは、入力イメージで識別されたオブジェクトのフォーマットされた予測結果のリストを返します。

     {
         "prediction": [
             [
                 14,
                 0.9384938478469849,
                 0.37763649225234985,
                 0.5110225081443787,
                 0.6697432398796082,
                 0.8544386029243469
             ],
             [
                 14,
                 0.8859519958496094,
                 0,
                 0.43536216020584106,
                 0.3314110040664673,
                 0.9538808465003967
             ],
             [
                 12,
                 0.04128098487854004,
                 0.5976729989051819,
                 0.5747185945510864,
                 0.704264223575592,
                 0.857937216758728
             ],
             ...
         ]
     }

リストの各予測は角括弧で囲まれ、6 つの値が含まれます。

これらのコネクタは MQTT メッセージを出力データとして公開しません。

使用例

次の Lambda 関数の例は、AWS IoT Greengrass Machine Learning SDK を使用して、ML オブジェクト検出コネクタと対話します。

この例では、SDK クライアントを初期化し、SDK の invoke_inference_service 関数の同期呼び出しにより、ローカル推論サービスを呼び出します。次に、アルゴリズムタイプ、サービス名、イメージタイプ、イメージコンテンツを渡します。その後、サービスのレスポンスを解析して、確率の結果 (予測) を取得します。

import logging
from threading import Timer

import numpy as np

import greengrass_machine_learning_sdk as ml

# We assume the inference input image is provided as a local file
# to this inference client Lambda function.
with open('/test_img/test.jpg', 'rb') as f:
    content = bytearray(f.read())

client = ml.client('inference')

def infer():
    logging.info('invoking Greengrass ML Inference service')

    try:
        resp = client.invoke_inference_service(
            AlgoType='object-detection',
            ServiceName='objectDetection',
            ContentType='image/jpeg',
            Body=content
        )
    except ml.GreengrassInferenceException as e:
        logging.info('inference exception {}("{}")'.format(e.__class__.__name__, e))
        return
    except ml.GreengrassDependencyException as e:
        logging.info('dependency exception {}("{}")'.format(e.__class__.__name__, e))
        return

    logging.info('resp: {}'.format(resp))
    predictions = resp['Body'].read().decode("utf-8")
    logging.info('predictions: {}'.format(predictions))
    predictions = eval(predictions) 

    # Perform business logic that relies on the predictions.
    
    # Schedule the infer() function to run again in ten second.
    Timer(10, infer).start()
    return

infer()

def function_handler(event, context):
    return

AWS IoT Greengrass Machine Learning SDK の invoke_inference_service 関数は、以下の引数を受け入れます。

AWS IoT Greengrass Core に Neo 深層学習ランタイム依存関係をインストールする

ML オブジェクト検出コネクタは SageMaker Neo 深層学習ランタイム (DLR) にバンドルされています。コネクタは、ランタイムを使用して ML モデルを提供します。これらのコネクタを使用するには、コアデバイスに DLR の依存関係をインストールする必要があります。

DLR の依存関係をインストールする前に、必要なシステムライブラリ (指定された最小バージョン) がデバイスに存在することを確認してください。

ログ記録とトラブルシューティング

グループ設定に応じて、イベントログとエラーログは、CloudWatch ログ、ローカルファイルシステム、またはその両方に書き込まれます。このコネクタのログにはプレフィックス LocalInferenceServiceName が使用されます。コネクタが予期しない動作を示した場合は、コネクタのログを確認します。このログには、通常、ML ライブラリの依存関係の不足やコネクタの起動失敗の原因など、デバッグに役立つ情報が含まれています。

AWS IoT Greengrass グループがローカルログを書き込むように設定されている場合、コネクタはにログファイルを greengrass-root/ggc/var/log/user/region/aws/ に書き込みます。Greengrass のログ記録の詳細については、「AWS IoT Greengrass ログでのモニタリング」を参照してください。

ML オブジェクト検出コネクタの問題のトラブルシューティングには、以下の情報が役立ちます。

必須のシステムライブラリ

以下の各タブは、ML オブジェクト検出コネクタごとに必要なシステムライブラリを一覧表示します。

問題点

sudo ln /dev/null /dev/raw1394

ライセンス

ML オブジェクト検出コネクタには、以下のサードパーティーのソフトウェアおよびライセンスが含まれています。

このコネクタは、Greengrass Core ソフトウェアライセンス契約に従ってリリースされます。

以下も参照してください。