Bereitstellen von Modellen am Edge mit SageMaker Edge Manager

Warnung

SageMaker Edge Manager wird am 26. April 2024 eingestellt. Weitere Informationen zum weiteren Einsatz Ihrer Modelle auf Edge-Geräten finden Sie unter SageMaker Ende der Lebensdauer von Edge Manager.

Amazon SageMaker Edge Manager bietet Modellverwaltung für Edge-Geräte, sodass Sie Machine-Learning-Modelle auf Flotten von Edge-Geräten wie Smart-Kameras, Robotern, PCs und Mobilgeräten optimieren, sichern, überwachen und verwalten können.

Warum Edge Manager verwenden?

In vielen Anwendungsfällen für Machine Learning (ML) müssen ML-Modelle auf einer Flotte von Edge-Geräten laufen. So können Sie Prognosen in Echtzeit abrufen, die Daten der Endnutzer schützen und die Kosten für die Netzwerkkonnektivität senken. Mit der zunehmenden Verfügbarkeit von Edge-Hardware mit geringem Stromverbrauch, die für ML entwickelt wurde, ist es jetzt möglich, das mehrere komplexe neuronale Netzwerkmodelle auf Edge-Geräten laufen.

Der Betrieb von ML-Modellen auf Edge-Geräten ist jedoch eine Herausforderung, da die Geräte im Unterschied zu Cloud-Instances nur über begrenzte Rechenleistung, Speicherplatz und Konnektivität verfügen. Wenn das Modell bereitgestellt wird, müssen Sie die Modelle kontinuierlich überwachen, da Modellabweichungen dazu führen können, dass die Qualität des Modells mit der Zeit nachlässt. Die Überwachung von Modellen für Ihre Geräteflotten ist schwierig, da Sie eigens dafür bestimmten Code schreiben müssen, um Datenstichproben von Ihrem Gerät zu nehmen und fehlerhafte Vorhersagen zu erkennen. Darüber hinaus sind Modelle häufig fest in der Anwendung codiert. Um das Modell zu aktualisieren, müssen Sie die gesamte Anwendungs- oder Gerätefirmware neu erstellen und aktualisieren, was Ihren Betrieb stören kann.

Mit SageMaker Edge Manager können Sie Machine-Learning-Modelle für Geräteflotten am Edge optimieren, ausführen, überwachen und aktualisieren.

Wie das funktioniert?

Allgemein betrachtet, gibt es fünf Hauptkomponenten im SageMaker Edge Manager-Workflow: Kompilieren von Modellen mit SageMaker Neo, Verpacken von Neo-kompilierten Modellen, Bereitstellen von Modellen auf Ihren Geräten, Ausführen von Modellen auf der SageMaker Inferenz-Engine (Edge Manager-Agent) und Verwalten von Modellen auf den Geräten.

SageMaker Edge Manager verwendet SageMaker Neo, um Ihre Modelle für die Zielhardware mit einem Klick zu optimieren, und dann Ihre Modelle vor der Bereitstellung kryptografisch zu signieren. Mit SageMaker Edge Manager können Sie Modelleingabe- und Ausgabedaten von Edge-Geräten erfassen und zur Überwachung und Analyse an die Cloud senden. Außerdem können Sie ein Dashboard anzeigen, das den Betrieb der bereitgestellten Modelle in der SageMaker Konsole verfolgt und visuell darüber berichtet.

SageMaker Edge Manager erweitert Funktionen, die zuvor nur in der Cloud verfügbar waren, auf den Edge, sodass Entwickler die Modellqualität kontinuierlich verbessern können, indem sie Amazon SageMaker Model Monitor zur Abweichungserkennung verwenden, die Daten dann mit SageMaker Ground Truth umbenennen und die Modelle in neu trainieren SageMaker.

Wie verwende ich SageMaker Edge Manager?

Wenn Sie SageMaker Edge Manager zum ersten Mal verwenden, empfehlen wir Ihnen Folgendes:

1. Lesen Sie den Abschnitt Erste Schritte - In diesem Abschnitt erfahren Sie, wie Sie Ihren ersten Edge-Paketerstellungsauftrag einrichten und Ihre erste Flotte erstellen.

2. Beispiele für Edge Manager Jupyter Notebooks erkunden – Beispiel-Notebooks werden im amazon-sagemaker-examples GitHub Repository im Ordner sagemaker_Edge_manager gespeichert.