Déployer des modèles en périphérie avec SageMaker Edge Manager - Amazon SageMaker

Déployer des modèles en périphérie avec SageMaker Edge Manager

Amazon SageMaker Edge Manager gère les modèles pour les dispositifs périphériques afin de vous permettre d'optimiser, de sécuriser, de contrôler et de maintenir des modèles de machine learning sur des flottes de périphériques tels que les caméras intelligentes, les robots, les ordinateurs personnels et les appareils mobiles.

Pourquoi utiliser Edge Manager ?

De nombreux cas d'utilisation de machine learning (ML) nécessitent l'exécution de modèles ML sur une flotte de dispositifs, ce qui vous permet d'obtenir des prédictions en temps réel, de préserver la confidentialité des utilisateurs finaux et de réduire le coût de la connectivité réseau. Avec la disponibilité croissante de matériels périphériques basse consommation conçus pour le ML, il est désormais possible d'exécuter plusieurs modèles de réseau neuronal complexes sur des dispositifs périphériques.

Cependant, contrairement aux instances cloud, les périphériques sont limités en termes de calcul, de mémoire et de connectivité, ce qui rend l'exploitation de modèles ML difficile sur des dispositifs périphériques. Une fois le modèle déployé, vous devez contrôler les modèles en continu, car la dérive de modèle peut entraîner la dégradation de la qualité du modèle. La surveillance des modèles sur l'ensemble de vos flottes de dispositifs est difficile car vous devez écrire du code personnalisé pour collecter des échantillons de données à partir de votre dispositif et reconnaître l'asymétrie des prédictions. En outre, les modèles sont souvent codés en dur dans l'application. Pour mettre à jour le modèle, vous devez reconstruire et mettre à jour intégralement le firmware de l'application ou du périphérique, ce qui peut perturber vos opérations.

Avec SageMaker Edge Manager, vous pouvez optimiser, exécuter, contrôler et mettre à jour les modèles de machine learning sur les flottes de dispositifs en périphérie.

Fonctionnement

À un niveau élevé, le flux SageMaker Edge Manager se décompose en cinq étapes : compiler des modèles avec SageMaker Neo, empaqueter les modèles néo-compilés, déployer les modèles sur vos périphériques, exécuter les modèles sur le moteur d'inférence SageMaker (agent Edge Manager) et gérer les modèles sur les périphériques.

SageMaker Edge Manager utilise SageMaker Neo pour optimiser vos modèles pour le matériel cible en un clic, puis pour signer vos modèles de manière cryptographique avant leur déploiement. Avec SageMaker Edge Manager, vous pouvez échantillonner les données d'entrée et de sortie des modèles à partir des dispositifs périphériques, les envoyer dans le cloud à des fins de surveillance et d'analyse, et afficher un tableau de bord qui suit et rend compte visuellement du fonctionnement des modèles déployés dans la console SageMaker.

SageMaker Edge Manager étend à la périphérie les fonctionnalités qui n'étaient auparavant disponibles que dans le cloud afin que les développeurs puissent améliorer en permanence la qualité du modèle en utilisant Amazon SageMaker Model Monitor pour la détection de dérive, puis renommer les données avec SageMaker Ground Truth et ré-entraîner les modèles dans SageMaker.

Comment utiliser SageMaker Edge Manager ?

Si vous utilisez SageMaker Edge Manager pour la première fois, nous vous recommandons de procéder comme suit :

  1. Lisez la section Démarrer : cette section vous guide dans la configuration de votre première tâche d'empaquetage en périphérie et la création de votre première flotte.

  2. Découvrez des exemples de bloc-notes Edge Manager Jupyter : les exemples de bloc-notes sont stockés dans le référentiel GitHub amazon-sagemaker-examples du dossier sagemaker_edge_manager.