konektor Deteksi Objek ML

Konektor Deteksi Objek ML menyediakan layanan inferensi machine learning (ML) yang berjalan dalam core AWS IoT Greengrass ini. Layanan inferensi lokal ini melakukan deteksi objek menggunakan model deteksi objek dikompilasi oleh SageMaker Kompiler deep learning Neo. Dua jenis model deteksi objek didukung: Detector Multibox Tunggal (SSD) dan Anda Hanya Look Once (YOLO) v3. Untuk informasi lebih lanjut, lihat Persyaratan Model Deteksi Objek.

Fungsi Lambda yang ditetapkan pengguna menggunakan Machine Learning SDK AWS IoT Greengrass untuk mengirimkan permintaan inferensi ke layanan inferensi lokal. Layanan ini melakukan inferensi lokal pada gambar input dan mengembalikan daftar prediksi untuk setiap objek yang terdeteksi dalam gambar. Setiap prediksi berisi kategori objek, skor kepercayaan prediksi, dan koordinat piksel yang menentukan kotak batas dalam sekitar objek yang diprediksi.

AWS IoT Greengrass menyediakan konektor Deteksi Objek ML untuk beberapa platform:

Persyaratan

Konektor-konektor ini memiliki persyaratan sebagai berikut:

Persyaratan model deteksi objek

Konektor Deteksi Objek ML mendukung Single Shot multibox Detector (SSD) dan You Only Look Once (YOLO) v3 jenis model deteksi objek. Anda dapat menggunakan komponen deteksi objek yang disediakan oleh GluonCV untuk melatih model dengan dataset Anda sendiri. Atau, Anda bisa menggunakan model pra-terlatih dari GluonCV Model Zoo:

Model deteksi objek Anda harus dilatih dengan gambar input 512 x 512. Model pra-terlatih dari GluonCV Model Zoo sudah memenuhi persyaratan ini.

Model deteksi objek terlatih harus dikompilasi dengan SageMaker Kompiler deep learning Neo. Ketika mengkompilasi, pastikan perangkat keras target cocok dengan perangkat keras perangkat core Greengrass Anda. Untuk informasi selengkapnya, lihat SageMaker Neodi dalamAmazon SageMaker Panduan Pengembang.

Model dikompilasi harus ditambahkan sebagai sumber daya ML (sumber daya model Amazon S3) ke grup Greengrass yang sama dengan konektor.

Parameter Konektor

Konektor-konektor ini menyediakan parameter berikut.

Buat Contoh Konektor (AWS CLI)

Perintah CLI berikut membuat ConnectorDefinition dengan versi awal yang berisi konektor Deteksi Objek ML. Contoh ini menbuat sebuah instance dari konektor Deteksi Objek ML ARMv7l.

aws greengrass create-connector-definition --name MyGreengrassConnectors --initial-version '{
    "Connectors": [
        {
            "Id": "MyObjectDetectionConnector",
            "ConnectorArn": "arn:aws:greengrass:region::/connectors/ObjectDetectionARMv7/versions/1",
            "Parameters": {
                "MLModelDestinationPath": "/path-to-model",
                "MLModelResourceId": "my-ml-resource",
                "LocalInferenceServiceName": "objectDetection",
                "LocalInferenceServiceTimeoutSeconds": "10",
                "LocalInferenceServiceMemoryLimitKB": "500000",
                "MLFeedbackConnectorConfigId" : "object-detector-random-sampling"
            }
        }
    ]
}'

Di konsol AWS IoT Greengrass tersebut, Anda dapat menambahkan konektor dari halaman grup Konektor ini. Untuk informasi lebih lanjut, lihat Memulai dengan konektor Greengrass (konsol).

Data input

Konektor ini menerima file gambar sebagai input. Input file gambar harus dalam jpeg atau png format. Untuk informasi selengkapnya, lihat Contoh Penggunaan.

Konektor-konektor ini tidak menerima pesan MQTT sebagai data input.

Data output

Konektor ini kembali daftar diformat hasil prediksi untuk objek diidentifikasi dalam gambar input:

     {
         "prediction": [
             [
                 14,
                 0.9384938478469849,
                 0.37763649225234985,
                 0.5110225081443787,
                 0.6697432398796082,
                 0.8544386029243469
             ],
             [
                 14,
                 0.8859519958496094,
                 0,
                 0.43536216020584106,
                 0.3314110040664673,
                 0.9538808465003967
             ],
             [
                 12,
                 0.04128098487854004,
                 0.5976729989051819,
                 0.5747185945510864,
                 0.704264223575592,
                 0.857937216758728
             ],
             ...
         ]
     }

Setiap prediksi dalam daftar terkandung dalam bucket kotak dan berisi enam nilai:

Konektor ini tidak menerbitkan pesan MQTT sebagai data output.

Contoh Penggunaan

contoh fungsi Lambda berikut menggunakan AWS IoT Greengrass Machine Learning SDK untuk berinteraksi dengan konektor Deteksi Objek ML.

Contoh menginisialisasi klien SDK dan serentak menghubungi fungsi SDK invoke_inference_service untuk memanggil layanan inferensi lokal. Ini melewati jenis algoritme, nama layanan, jenis citra, dan konten citra. Kemudian, contoh mengurai respon layanan untuk mendapatkan hasil probabilitas (prediksi).

import logging
from threading import Timer

import numpy as np

import greengrass_machine_learning_sdk as ml

# We assume the inference input image is provided as a local file
# to this inference client Lambda function.
with open('/test_img/test.jpg', 'rb') as f:
    content = bytearray(f.read())

client = ml.client('inference')

def infer():
    logging.info('invoking Greengrass ML Inference service')

    try:
        resp = client.invoke_inference_service(
            AlgoType='object-detection',
            ServiceName='objectDetection',
            ContentType='image/jpeg',
            Body=content
        )
    except ml.GreengrassInferenceException as e:
        logging.info('inference exception {}("{}")'.format(e.__class__.__name__, e))
        return
    except ml.GreengrassDependencyException as e:
        logging.info('dependency exception {}("{}")'.format(e.__class__.__name__, e))
        return

    logging.info('resp: {}'.format(resp))
    predictions = resp['Body'].read().decode("utf-8")
    logging.info('predictions: {}'.format(predictions))
    predictions = eval(predictions) 

    # Perform business logic that relies on the predictions.
    
    # Schedule the infer() function to run again in ten second.
    Timer(10, infer).start()
    return

infer()

def function_handler(event, context):
    return

Fungsi invoke_inference_service dalam Machine Learning SDK AWS IoT Greengrass menerima argumen berikut.

Menginstal dependensi waktu aktif Neo deep learning pada AWS IoT Greengrass core

Konektor Deteksi Objek LL dibundel dengan SageMaker Waktu aktif deep learning Neo (DLR). Konektor menggunakan waktu aktif untuk melayani model ML. Untuk menggunakan konektor ini, Anda harus menginstal dependensi untuk DLR pada perangkat core Anda.

Sebelum Anda menginstal dependensi DLR, pastikan bahwa sistem perpustakaan yang diperlukan (dengan versi minimum yang ditentukan) ada pada perangkat.

Pencatatan dan pemecahan masalah

Tergantung pada pengaturan grup Anda, log peristiwa dan kesalahan ditulis CloudWatch Log, sistem file lokal, atau keduanya. Catatan dari konektor ini menggunakan prefix LocalInferenceServiceName. Jika konektor berperilaku tidak terduga, periksa log konektor. Ini biasanya berisi informasi debugging yang berguna, seperti dependensi perpustakaan ML yang hilang atau penyebab kegagalan startup konektor.

Jika AWS IoT Greengrass grup dikonfigurasi untuk menulis log lokal, konektor menulis file log ke greengrass-root/ggc/var/log/user/region/aws/. Untuk informasi lebih lanjut tentang Greengrass pencatatan, lihat Pemantauan dengan AWS IoT Greengrass log.

Gunakan informasi berikut untuk membantu memecahkan masalah dengan Deteksi Objek ML konektor.

Sistem perpustakaan yang diperlukan

Tab berikut mencantumkan perpustakaan sistem yang diperlukan untuk setiap konektor Deteksi Objek ML.

Masalah

sudo ln /dev/null /dev/raw1394

Lisensi

Konektor Deteksi Objek ML termasuk perangkat lunak/lisensi pihak ketiga berikut:

Konektor ini dirilis di bawah Perjanjian Lisensi Perangkat lunak core Greengrass.

Lihat juga