ML 객체 감지 커넥터 - AWS IoT Greengrass

다음에 대한 설명서를 보고 있습니다.AWS IoT Greengrass Version 1.AWS IoT Greengrass Version 2의 최신 주요 버전입니다AWS IoT Greengrass. 사용에 관한 자세한 내용은 단원을 참조하십시오.AWS IoT Greengrass V2에 대한 자세한 내용은AWS IoT Greengrass Version 2개발자 안내서.

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

ML 객체 감지 커넥터

ML 객체 감지커넥터에서 실행되는 ML (기계 학습) 추론 서비스를 제공합니다.AWS IoT Greengrass코어. 이 로컬 추론 서비스는 SageMaker Neo 딥 러닝 컴파일러에서 컴파일된 객체 감지 모델을 사용하여 객체 감지를 수행합니다. 다음 두 가지 유형의 개체 감지 모델이 지원됩니다. Single Shot Multibox 감지기 (SSD) 및 YOLO (YOLO) v3. 자세한 내용은 객체 감지 모델 요구 사항을 참조하십시오.

사용자 정의 Lambda 함수는AWS IoT Greengrass로컬 추론 서비스에 추론 요청을 제출하는 Machine Learning SDK입니다. 이 서비스는 입력 이미지에 대해 로컬 추론을 수행하고 이미지에서 감지된 각 객체에 대한 예측의 목록을 반환합니다. 각 예측에는 객체 범주, 예측 신뢰도 점수, 예측된 객체 주위의 경계 상자를 지정하는 픽셀 좌표가 포함됩니다.

AWS IoT Greengrass는 여러 플랫폼에 맞는 ML 객체 감지 커넥터를 제공합니다.

지원

설명 및 ARN

ML 개체 감지 Aarch64 JTX2

NVIDIA Jetson TX2용 객체 감지 추론 서비스입니다. GPU 가속화를 지원합니다.

ARN: arn:aws:greengrass:region::/connectors/ObjectDetectionAarch64JTX2/versions/1

ML 객체 감지

x86_64 플랫폼용 객체 감지 추론 서비스입니다.

ARN: arn:aws:greengrass:region::/connectors/ObjectDetectionx86-64/versions/1

ML 객체 감지

ARMv7 플랫폼용 객체 감지 추론 서비스입니다.

ARN: arn:aws:greengrass:region::/connectors/ObjectDetectionARMv7/versions/1

Requirements

이러한 커넥터에는 다음 요구 사항이 있습니다.

  • AWS IoT Greengrass코어 소프트웨어 v1.9.3 이상.

  • Python코어 디바이스에 설치되고 PATH 환경 변수에 추가된 Python 버전 3.7입니다.

    참고

    파이썬 3.8을 사용하려면 설치된 파이썬 3.8 바이너리에 기본 파이썬 3.7 설치 폴더에서 심볼릭 링크를 만들려면 다음 명령을 실행합니다.

    sudo ln -s path-to-python-3.8/python3.8 /usr/bin/python3.7

    이렇게 하면 AWS IoT Greengrass에 대한 Python 요구 사항을 충족하도록 디바이스가 구성됩니다.

  • 코어 디바이스에 설치된 SageMaker Neo 딥 러닝 런타임에 대한 종속성입니다. 자세한 정보는 AWS IoT Greengrass 코어에 Neo 딥 러닝 런타임 종속성 설치을 참조하십시오.

  • Greengrass 그룹의 ML 리소스입니다. ML 리소스는 객체 감지 모델이 있는 Amazon S3 버킷을 참조해야 합니다. 자세한 내용은 단원을 참조하십시오.Amazon S3 모델 소스.

    참고

    모델은 Single Shot Multibox Detector 또는 You Only Look Once v3 객체 감지 모델 유형이어야 합니다. SageMaker Neo 딥 러닝 컴파일러를 사용하여 컴파일되어야 합니다. 자세한 내용은 객체 감지 모델 요구 사항을 참조하십시오.

  • ML 피드백 커넥터Greengrass 그룹에 추가 및 구성해야 합니다. 이 파라미터는 이 커넥터를 사용하여 모델 입력 데이터를 업로드하고 예측을 MQTT 주제에 게시하려는 경우에만 필요합니다.

  • AWS IoT GreengrassMachine Learning SDK이 커넥터와 상호 작용하려면 v1.1.0이 필요합니다.

객체 감지 모델 요구 사항

ML 객체 감지 커넥터는 SSD (Single Shot Multibox Detector) 및 YOLO (Yourly Look Once) v3 객체 감지 모델 유형을 지원합니다. GluonCV에서 제공하는 객체 감지 구성 요소를 사용하여 자체 데이터 세트로 모델을 고육시킬 수 있습니다. 또는 GluonCV Model Zoo에서 사전 교육된 모델을 사용할 수 있습니다.

객체 감지 모델은 512 x 512 입력 이미지로 교육해야 합니다. GluonCV Model Zoo의 사전 교육된 모델은 이미 이 요구 사항을 충족합니다.

교육된 객체 감지 모델은 SageMaker Neo 딥 러닝 컴파일러로 컴파일해야 합니다. 컴파일 시 대상 하드웨어가 Greengrass 코어 디바이스의 하드웨어와 일치해야 합니다. 자세한 내용은 단원을 참조하십시오.SageMakerAmazon SageMaker 개발자 안내서.

컴파일 된 모델은 ML 리소스 (Amazon S3 모델 소스) 을 커넥터와 동일한 Greengrass 그룹에 추가합니다.

커넥터 매개변수

이러한 커넥터는 다음 파라미터를 제공합니다.

MLModelDestinationPath

Neo 호환 ML 모델이 포함된 Amazon S3 버킷의 절대 경로입니다. ML 모델 리소스에 대해 지정된 대상 경로입니다.

의 표시 이름AWS IoT콘솔: 모델 대상 경로

: 필수true

형식: string

유효한 패턴.+

MLModelResourceId

소스 모델을 참조하는 ML 리소스의 ID입니다.

의 표시 이름AWS IoT콘솔: Greengrass 그룹 ML 리소스

: 필수true

형식: S3MachineLearningModelResource

유효한 패턴^[a-zA-Z0-9:_-]+$

LocalInferenceServiceName

로컬 추론 서비스의 이름입니다. 사용자 정의 Lambda 함수가 이름을invoke_inference_service함수AWS IoT GreengrassSDK Machine Learning 관련 예제는 사용 예 섹션을 참조하세요

의 표시 이름AWS IoT콘솔: 로컬 추론 서비스 이름

: 필수true

형식: string

유효한 패턴^[a-zA-Z0-9][a-zA-Z0-9-]{1,62}$

LocalInferenceServiceTimeoutSeconds

추론 요청이 종료되기 전까지의 시간(초)입니다. 최소값은 1입니다. 기본값은 10입니다.

의 표시 이름AWS IoT콘솔: : 제한 시간 (초)

: 필수true

형식: string

유효한 패턴^[1-9][0-9]*$

LocalInferenceServiceMemoryLimitKB

서비스에서 액세스할 수 있는 메모리의 양(KB)입니다. 최소값은 1입니다.

의 표시 이름AWS IoT콘솔: 메모리 제한

: 필수true

형식: string

유효한 패턴^[1-9][0-9]*$

GPUAcceleration

CPU 또는 GPU (가속) 컴퓨팅 컨텍스트입니다. 이 속성은 ML 이미지 분류 Aarch64 JTX2 커넥터에만 적용됩니다.

의 표시 이름AWS IoT콘솔: GPU 가속화

: 필수true

형식: string

유효한 값: CPU 또는 GPU

MLFeedbackConnectorConfigId

모델 입력 데이터를 업로드할 때 사용할 피드백 구성의 ID입니다. ML Feedback 커넥터에 정의된 피드백 구성의 ID와 일치해야 합니다.

이매개 변수는 ML 피드백 커넥터를 사용하여 모델 입력 데이터를 업로드하고 예측을 MQTT 주제에 게시하려는 경우에만 필요합니다.

의 표시 이름AWS IoT콘솔: ML Feedback 커넥터 구성 ID

: 필수false

형식: string

유효한 패턴^$|^[a-zA-Z0-9][a-zA-Z0-9-]{1,62}$

커넥터 만들기 예(AWS CLI)

다음 CLI 명령은ConnectorDefinitionML 객체 감지 커넥터가 포함된 초기 버전을 사용하여 업그레이드할 수 있습니다. 이 예제에서는 ML 개체 탐지 ARMv7l 커넥터의 인스턴스를 생성합니다.

aws greengrass create-connector-definition --name MyGreengrassConnectors --initial-version '{ "Connectors": [ { "Id": "MyObjectDetectionConnector", "ConnectorArn": "arn:aws:greengrass:region::/connectors/ObjectDetectionARMv7/versions/1", "Parameters": { "MLModelDestinationPath": "/path-to-model", "MLModelResourceId": "my-ml-resource", "LocalInferenceServiceName": "objectDetection", "LocalInferenceServiceTimeoutSeconds": "10", "LocalInferenceServiceMemoryLimitKB": "500000", "MLFeedbackConnectorConfigId" : "object-detector-random-sampling" } } ] }'
참고

이러한 커넥터의 Lambda 함수에는수명이 긴 함수수명 주기

에서AWS IoT Greengrass콘솔에서 커넥터를 추가할 수 있습니다.커넥터페이지로 이동합니다. 자세한 정보는 Greengrass 커넥터 시작하기(콘솔)을 참조하십시오.

입력 데이터

이러한 커넥터는 입력으로 이미지 파일을 사용합니다. 입력 이미지 파일은 jpeg 또는 png 형식이어야 합니다. 자세한 정보는 사용 예을 참조하십시오.

이러한 커넥터는 MQTT 메시지를 입력 데이터로 받아들이지 않습니다.

출력 데이터

이러한 커넥터는 입력 이미지에서 식별된 객체에 대한 예측 결과의 형식 지정된 목록을 반환합니다.

{ "prediction": [ [ 14, 0.9384938478469849, 0.37763649225234985, 0.5110225081443787, 0.6697432398796082, 0.8544386029243469 ], [ 14, 0.8859519958496094, 0, 0.43536216020584106, 0.3314110040664673, 0.9538808465003967 ], [ 12, 0.04128098487854004, 0.5976729989051819, 0.5747185945510864, 0.704264223575592, 0.857937216758728 ], ... ] }

목록의 각 예측은 대괄호로 묶여 있으며 6개 값을 포함합니다.

  • 첫 번째 값은 식별된 객체의 예측된 객체 범주를 나타냅니다. 객체 범주 및 해당 값은 Neo Detection 기계 학습 모델을 교육할 때 결정됩니다.

  • 두 번째 값은 객체 범주 예측의 신뢰도 점수입니다. 이 값은 예측이 정확할 확률을 나타냅니다.

  • 마지막 4개 값은 이미지에서 예측된 객체 주위의 경계 상자를 표현하는 픽셀 치수에 해당합니다.

이러한 커넥터는 MQTT 메시지를 출력 데이터로 게시하지 않습니다.

사용 예

다음 예제 Lambda 함수는AWS IoT GreengrassMachine Learning SDK를 사용하여 ML 개체 감지 커넥터와 상호 작용할 수 있습니다.

참고

에서 SDK를 다운로드할 수 있습니다.AWS IoT GreengrassMachine Learning SDK다운로드 페이지를 참조하십시오.

이 예제에서는 SDK 클라이언트를 초기화하고 SDK의 invoke_inference_service 함수를 호출해 로컬 추론 서비스를 호출합니다. 그러면 알고리즘 유형, 서비스 이름, 이미지 유형 및 이미지 콘텐츠를 전달합니다. 그런 다음 이 예제에서는 서비스 응답을 구문 분석해 가능성 결과(예측)를 얻습니다.

import logging from threading import Timer import numpy as np import greengrass_machine_learning_sdk as ml # We assume the inference input image is provided as a local file # to this inference client Lambda function. with open('/test_img/test.jpg', 'rb') as f: content = bytearray(f.read()) client = ml.client('inference') def infer(): logging.info('invoking Greengrass ML Inference service') try: resp = client.invoke_inference_service( AlgoType='object-detection', ServiceName='objectDetection', ContentType='image/jpeg', Body=content ) except ml.GreengrassInferenceException as e: logging.info('inference exception {}("{}")'.format(e.__class__.__name__, e)) return except ml.GreengrassDependencyException as e: logging.info('dependency exception {}("{}")'.format(e.__class__.__name__, e)) return logging.info('resp: {}'.format(resp)) predictions = resp['Body'].read().decode("utf-8") logging.info('predictions: {}'.format(predictions)) predictions = eval(predictions) # Perform business logic that relies on the predictions. # Schedule the infer() function to run again in ten second. Timer(10, infer).start() return infer() def function_handler(event, context): return

invoke_inference_service함수AWS IoT GreengrassMachine Learning SDK는 다음 인수를 수락합니다.

인수

설명

AlgoType

추론에 사용할 알고리즘 유형의 이름입니다. 현재 object-detection만 지원됩니다.

: 필수true

형식: string

유효한 값: object-detection

ServiceName

로컬 추론 서비스의 이름입니다. 커넥터를 구성할 때 LocalInferenceServiceName 파라미터에 대해 지정한 이름을 사용합니다.

: 필수true

형식: string

ContentType

입력 이미지의 mime 유형입니다.

: 필수true

형식: string

유효한 값: image/jpeg, image/png

Body

입력 이미지 파일의 콘텐츠입니다.

: 필수true

형식: binary

AWS IoT Greengrass 코어에 Neo 딥 러닝 런타임 종속성 설치

ML 개체 감지 커넥터는 SageMaker Neo 딥 러닝 런타임 (DLR) 와 번들로 제공됩니다. 커넥터는 이 런타임을 사용해 ML 모델을 제공합니다. 이들 커넥터를 사용하려면 코어 디바이스에 DLR 종속성을 설치해야 합니다.

DLR 종속성을 설치하기 전에 필요한 시스템 라이브러리(지정된 최소 버전)가 디바이스에 있는지 확인합니다.

NVIDIA Jetson TX2
  1. CUDA Toolkit 9.0 및 cuDNN 7.0을 설치합니다. 시작하기 자습서에서 다른 장치 설정의 지침을 따르십시오.

  2. 커넥터가 커뮤니티에서 유지 관리하는 오픈 소프트웨어를 설치할 수 있도록 범용 리포지토리를 활성화합니다. 자세한 내용은 Ubuntu 설명서의 리포지토리/Ubuntu를 참조하십시오.

    1. /etc/apt/sources.list 파일을 엽니다.

    2. 다음 행의 주석 처리를 해제하십시오.

      deb http://ports.ubuntu.com/ubuntu-ports/ xenial universe deb-src http://ports.ubuntu.com/ubuntu-ports/ xenial universe deb http://ports.ubuntu.com/ubuntu-ports/ xenial-updates universe deb-src http://ports.ubuntu.com/ubuntu-ports/ xenial-updates universe
  3. 다음 설치 스크립트의 사본을 코어 디바이스에 nvidiajtx2.sh 파일로 저장합니다.

    #!/bin/bash set -e echo "Installing dependencies on the system..." echo 'Assuming that universe repos are enabled and checking dependencies...' apt-get -y update apt-get -y dist-upgrade apt-get install -y liblapack3 libopenblas-dev liblapack-dev libatlas-base-dev apt-get install -y python3.7 python3.7-dev python3.7 -m pip install --upgrade pip python3.7 -m pip install numpy==1.15.0 python3.7 -m pip install opencv-python || echo 'Error: Unable to install OpenCV with pip on this platform. Try building the latest OpenCV from source (https://github.com/opencv/opencv).' echo 'Dependency installation/upgrade complete.'
    참고

    이 스크립트를 사용하여 OpenCV가 성공적으로 설치되지 않을 경우 소스로부터 빌드를 시도할 수 있습니다. 자세한 내용은 OpenCV 설명서의 Linux에서 설치를 참조하거나 현재 플랫폼의 다른 온라인 리소스를 참조하십시오.

  4. 파일을 저장한 디렉터리에서 다음 명령을 실행합니다.

    sudo nvidiajtx2.sh
x86_64 (Ubuntu or Amazon Linux)
  1. 다음 설치 스크립트의 사본을 코어 디바이스에 x86_64.sh 파일로 저장합니다.

    #!/bin/bash set -e echo "Installing dependencies on the system..." release=$(awk -F= '/^NAME/{print $2}' /etc/os-release) if [ "$release" == '"Ubuntu"' ]; then # Ubuntu. Supports EC2 and DeepLens. DeepLens has all the dependencies installed, so # this is mostly to prepare dependencies on Ubuntu EC2 instance. apt-get -y update apt-get -y dist-upgrade apt-get install -y libgfortran3 libsm6 libxext6 libxrender1 apt-get install -y python3.7 python3.7-dev elif [ "$release" == '"Amazon Linux"' ]; then # Amazon Linux. Expect python to be installed already yum -y update yum -y upgrade yum install -y compat-gcc-48-libgfortran libSM libXrender libXext else echo "OS Release not supported: $release" exit 1 fi python3.7 -m pip install --upgrade pip python3.7 -m pip install numpy==1.15.0 python3.7 -m pip install opencv-python || echo 'Error: Unable to install OpenCV with pip on this platform. Try building the latest OpenCV from source (https://github.com/opencv/opencv).' echo 'Dependency installation/upgrade complete.'
    참고

    이 스크립트를 사용하여 OpenCV가 성공적으로 설치되지 않을 경우 소스로부터 빌드를 시도할 수 있습니다. 자세한 내용은 OpenCV 설명서의 Linux에서 설치를 참조하거나 현재 플랫폼의 다른 온라인 리소스를 참조하십시오.

  2. 파일을 저장한 디렉터리에서 다음 명령을 실행합니다.

    sudo x86_64.sh
ARMv7 (Raspberry Pi)
  1. 다음 설치 스크립트의 사본을 코어 디바이스에 armv7l.sh 파일로 저장합니다.

    #!/bin/bash set -e echo "Installing dependencies on the system..." apt-get update apt-get -y upgrade apt-get install -y liblapack3 libopenblas-dev liblapack-dev apt-get install -y python3.7 python3.7-dev python3.7 -m pip install --upgrade pip python3.7 -m pip install numpy==1.15.0 python3.7 -m pip install opencv-python || echo 'Error: Unable to install OpenCV with pip on this platform. Try building the latest OpenCV from source (https://github.com/opencv/opencv).' echo 'Dependency installation/upgrade complete.'
    참고

    이 스크립트를 사용하여 OpenCV가 성공적으로 설치되지 않을 경우 소스로부터 빌드를 시도할 수 있습니다. 자세한 내용은 OpenCV 설명서의 Linux에서 설치를 참조하거나 현재 플랫폼의 다른 온라인 리소스를 참조하십시오.

  2. 파일을 저장한 디렉터리에서 다음 명령을 실행합니다.

    sudo bash armv7l.sh
    참고

    Raspberry Pi에서는 pip를 사용한 기계 학습 종속성 설치가 메모리 집약적 작업이므로 디바이스가 메모리 부족으로 응답하지 않게 될 수 있습니다. 차선책으로서 스왑 크기를 일시적으로 늘릴 수 있습니다. /etc/dphys-swapfile에서는 CONF_SWAPSIZE 변수의 값을 늘리고 다음 명령을 실행해 dphys-swapfile을 재시작합니다.

    /etc/init.d/dphys-swapfile restart

로깅 및 문제 해결

그룹 설정에 따라 이벤트 및 오류 로그는, 로컬 파일 시스템 또는 둘 다에 기록됩니다. 이 커넥터의 로그는 접두사 LocalInferenceServiceName을 사용합니다. 커넥터가 예기치 않은 방식으로 동작할 경우 커넥터의 로그를 확인합니다. 일반적으로 이러한 로그에는 누락된 ML 라이브러리 종속성 또는 커넥터 시작 실패 원인과 같은 유용한 디버깅 정보가 포함됩니다.

만약AWS IoT Greengrass그룹이 로컬 로그를 쓰도록 구성되면 커넥터가 로그 파일을greengrass-root/ggc/var/log/user/region/aws/. Greengrass 로깅에 대한 자세한 내용은 단원을 참조하십시오.AWS IoT Greengrass 로그를 사용하여 모니터링.

다음 정보를 사용하면 ML 개체 검색 커넥터의 문제 해결에 도움이 됩니다.

필수 시스템 라이브러리

다음 탭에는 각 ML 객체 감지 커넥터에 필요한 시스템 라이브러리가 나열되어 있습니다.

ML Object Detection Aarch64 JTX2
라이브러리 최소 버전
ld-linux-aarch64.so.1 GLIBC_2.17
libc.so.6 GLIBC_2.17
libcublas.so.9.0 해당 사항 없음
libcudart.so.9.0 해당 사항 없음
libcudnn.so.7 해당 사항 없음
libcufft.so.9.0 해당 사항 없음
libcurand.so.9.0 해당 사항 없음
libcusolver.so.9.0 해당 사항 없음
libgcc_s.so.1 GCC_4.2.0
libgomp.so.1 GOMP_4.0, OMP_1.0
libm.so.6 GLIBC_2.23
libnvinfer.so.4 해당 사항 없음
libnvrm_gpu.so 해당 사항 없음
libnvrm.so 해당 사항 없음
libnvidia-fatbinaryloader.so.28.2.1 해당 사항 없음
libnvos.so 해당 사항 없음
libpthread.so.0 GLIBC_2.17
librt.so.1 GLIBC_2.17
libstdc++.so.6 GLIBCXX_3.4.21, CXXABI_1.3.8
ML Object Detection x86_64
라이브러리 최소 버전
ld-linux-x86-64.so.2 GCC_4.0.0
libc.so.6 GLIBC_2.4
libgfortran.so.3 GFORTRAN_1.0
libm.so.6 GLIBC_2.23
libpthread.so.0 GLIBC_2.2.5
librt.so.1 GLIBC_2.2.5
libstdc++.so.6 CXXABI_1.3.8, GLIBCXX_3.4.21
ML Object Detection ARMv7
라이브러리 최소 버전
ld-linux-armhf.so.3 GLIBC_2.4
libc.so.6 GLIBC_2.7
libgcc_s.so.1 GCC_4.0.0
libgfortran.so.3 GFORTRAN_1.0
libm.so.6 GLIBC_2.4
libpthread.so.0 GLIBC_2.4
librt.so.1 GLIBC_2.4
libstdc++.so.6 CXXABI_1.3.8, CXXABI_ARM_1.3.3, GLIBCXX_3.4.20

문제

증상 솔루션

Raspberry Pi에서는 다음 오류 메시지가 기록되며 카메라를 사용하지 않습니다. Failed to initialize libdc1394

드라이버를 비활성화하려면 다음 명령을 실행합니다.

sudo ln /dev/null /dev/raw1394

이 작업은 임시적입니다. 이 심볼 링크는 재부팅 후 사라집니다. 재부팅 링크 자동 생성 방법을 알아보려면 OS 배포 매뉴얼을 참조하십시오.

Licenses

ML 개체 감지 커넥터에는 다음 타사 소프트웨어/라이선스가 포함되어 있습니다.

이 커넥터는 Greengrass 코어 소프트웨어 라이선스 계약에 따라 릴리스됩니다.

다음 사항도 참조하세요.