Implementación de modelos en la periferia con el Administrador de periféricos de SageMaker

aviso

Sagemaker Edge Manager dejará de estar disponible el 26 de abril de 2024. Para obtener más información sobre cómo seguir implementando sus modelos en dispositivos periféricos, consulte Fin de vida útil de SageMaker Edge Manager.

El Administrador de periféricos de Amazon SageMaker gestiona los modelos en dispositivos periféricos de forma que pueda optimizar, proteger, supervisar y mantener los modelos de machine learning en flotas de dispositivos periféricos, como cámaras inteligentes, robots, ordenadores personales y dispositivos móviles.

¿Por qué usar Edge Manager?

Muchos casos de uso de machine learning (ML) requieren la ejecución de modelos de ML en una flota de dispositivos periféricos, lo que permite obtener predicciones en tiempo real, preserva la privacidad de los usuarios finales y reduce el costo de conectividad de red. Con la creciente disponibilidad de hardware periférico de bajo consumo diseñado para ML, ahora es posible ejecutar varios modelos de redes neuronales complejos en dispositivos periféricos.

Sin embargo, utilizar modelos de ML en dispositivos periféricos es todo un desafío, ya que los dispositivos, a diferencia de las instancias en la nube, tienen recursos de cálculo, memoria y conectividad limitados. Una vez implementado el modelo, es necesario supervisarlo de forma continua, ya que la desviación del modelo puede provocar que la calidad de éste disminuya con el tiempo. Supervisar los modelos en todas las flotas de dispositivos es difícil porque es necesario escribir un código personalizado para recopilar muestras de datos del dispositivo y reconocer los sesgos en las predicciones. Además, los modelos suelen tener una codificación rígida en la aplicación. Para actualizar el modelo, debe reconstruir y actualizar todo el firmware de la aplicación o dispositivo, lo que puede interrumpir sus operaciones.

Con Sagemaker Edge Manager, puede optimizar, ejecutar, supervisar y actualizar los modelos de machine learning en todas las flotas de dispositivos periféricos.

¿Cómo funciona?

A un nivel superior, hay cinco componentes principales en el flujo de trabajo del Administrador de periféricos de SageMaker: compilar modelos con SageMaker Neo, empaquetar modelos compilados en NEO, implementar modelos en sus dispositivos, ejecutar modelos en el motor de inferencia de SageMaker AI (agente del Administrador de periféricos) y mantener los modelos en los dispositivos.

SageMaker Edge Manager utiliza SageMaker Neo para optimizar los modelos para el hardware de destino con un solo clic y, a continuación, firmar criptográficamente los modelos antes de la implementación. Con SageMaker Edge Manager, puede muestrear los datos de entrada y salida del modelo desde dispositivos periféricos y enviarlos a la nube para su supervisión y análisis, además de ver un panel que rastrea e informa visualmente sobre el funcionamiento de los modelos implementados en la consola de SageMaker AI.

El Administrador de periféricos de SageMaker extiende las capacidades que antes solo estaban disponibles en la nube hasta la periferia, de modo que los desarrolladores puedan mejorar continuamente la calidad del modelo mediante el uso del Monitor de modelos de Amazon SageMaker para la detección de desviaciones, luego volver a etiquetar los datos con SageMaker AI Ground Truth y volver a formar los modelos en SageMaker AI.

¿Cómo utilizo SageMaker Edge Manager?

Si es la primera vez que utiliza SageMaker Edge Manager, le recomendamos que realice el siguiente procedimiento:

1. Lea la sección Primeros pasos: en esta sección se explica cómo configurar su primer trabajo de empaquetado periférico y cómo crear su primera flota.

2. Explore los ejemplos de cuadernos de Jupyter de Edge Manager : los cuadernos de ejemplo se almacenan en el repositorio de GitHub amazon-sagemaker-examples, en la carpeta sagemaker_edge_manager.