Edge Manager를 사용하여 SageMaker 엣지에 모델을 배포하세요.

주의

SageMaker 엣지 매니저는 2024년 4월 26일에 단종됩니다. 엣지 디바이스에 모델을 계속 배포하는 방법에 대한 자세한 정보는 SageMaker 엣지 매니저 수명 종료에서 확인하세요.

Amazon SageMaker Edge Manager는 엣지 디바이스에 대한 모델 관리를 제공하므로 스마트 카메라, 로봇, 개인용 컴퓨터 및 모바일 디바이스와 같은 다양한 엣지 디바이스에서 기계 학습 모델을 최적화, 보호, 모니터링 및 유지할 수 있습니다.

Edge Manager를 사용하는 이유는 무엇입니까?

많은 기계 학습(ML) 사용 사례에서는 엣지 디바이스 플릿에서 ML 모델을 실행해야 합니다. 그래야 실시간으로 예측을 가져오고, 최종 사용자의 개인정보를 보호하고, 네트워크 연결 비용을 절감할 수 있습니다. ML용으로 설계된 저전력 엣지 하드웨어의 가용성이 증가함에 따라 이제 여러 복잡한 신경망 모델을 엣지 디바이스에서 실행할 수 있습니다.

하지만 클라우드 인스턴스와 달리 디바이스는 컴퓨팅, 메모리, 연결이 제한적이기 때문에 엣지 디바이스에서 ML 모델을 운영하는 것은 쉽지 않습니다. 모델 드리프트로 인해 시간이 지남에 따라 모델 품질이 저하될 수 있으므로 모델 배포 후에는 지속적으로 모니터링해야 합니다. 디바이스에서 데이터 샘플을 수집하고 예측 왜도를 인식하기 위한 사용자 지정 코드를 작성해야 하기 때문에 디바이스 플릿 전반에서 모델을 모니터링하는 것은 어렵습니다. 또한 모델은 애플리케이션에 하드 코딩되는 경우가 많습니다. 모델을 업데이트하려면 전체 애플리케이션 또는 디바이스 펌웨어를 재구축하고 업데이트해야 하며, 이로 인해 작동이 중단될 수 있습니다.

SageMaker Edge Manager를 사용하면 엣지에 있는 여러 디바이스에서 기계 학습 모델을 최적화, 실행, 모니터링 및 업데이트할 수 있습니다.

작동 방식

SageMaker Edge Manager 워크플로에는 상위 수준에서 SageMaker Neo로 모델을 컴파일하고, NEO로 컴파일된 모델을 패키징하고, 디바이스에 모델을 배포하고, SageMaker 추론 엔진에서 모델을 실행 (Edge Manager 에이전트) 하고, 디바이스에서 모델을 유지 관리하는 5가지 주요 구성 요소가 있습니다.

SageMaker Edge Manager는 SageMaker Neo를 사용하여 클릭 한 번으로 대상 하드웨어에 맞게 모델을 최적화한 다음 배포 전에 모델에 암호로 서명합니다. SageMaker Edge Manager를 사용하면 에지 장치의 모델 입력 및 출력 데이터를 샘플링하여 모니터링 및 분석을 위해 클라우드로 전송하고 콘솔 내에서 배포된 모델의 작동을 추적하고 시각적으로 보고하는 대시보드를 볼 수 있습니다. SageMaker

SageMaker Edge Manager는 이전에 클라우드에서만 사용할 수 있었던 기능을 엣지까지 확장하므로 개발자는 Amazon Model Monitor를 사용하여 드리프트 감지를 통해 SageMaker 모델 품질을 지속적으로 개선한 다음 SageMaker Ground Truth로 데이터에 레이블을 다시 지정하고 모델을 재학습할 수 있습니다. SageMaker

Edge Manager를 사용하려면 어떻게 해야 합니까? SageMaker

SageMaker Edge Manager를 처음 사용하는 경우 다음 작업을 수행하는 것이 좋습니다.

1. 시작하기 섹션 읽기 - 이 섹션은 첫 번째 엣지 패키징 작업을 설정하고 첫 번째 플릿을 생성하는 방법을 안내합니다.

2. 엣지 매니저 주피터 노트북 예제 살펴보기 - 예제 노트북은 sagemaker_edge_manager 폴더의 amazon-sagemaker-examples GitHub 리포지토리에 저장되어 있습니다.