Options de déploiement de modèles dans Amazon SageMaker AI

Après avoir entraîné votre modèle d'apprentissage automatique, vous pouvez le déployer à l'aide d'Amazon SageMaker AI pour obtenir des prédictions. Amazon SageMaker AI prend en charge les méthodes suivantes pour déployer un modèle, en fonction de votre cas d'utilisation :

• Pour les terminaux persistants en temps réel qui font une prédiction à la fois, utilisez les services d'hébergement en temps réel SageMaker basés sur l'IA. Consultez Inférence en temps réel.

• Les charges de travail qui présentent des périodes d'inactivité entre les pics de trafic et qui peuvent tolérer les démarrages à froid utilisent l'inférence sans serveur. Consultez Déployez des modèles avec Amazon SageMaker Serverless Inference.

• Les demandes présentant une charge utile importante (jusqu'à 1 Go), des délais de traitement longs et des exigences de latence quasiment en temps réel utilisent Amazon SageMaker Asynchronous Inference. Consultez Inférence asynchrone.

• Pour obtenir des prédictions pour un ensemble de données complet, utilisez la transformation par lots SageMaker AI. Consultez Transformation par lots à des fins d'inférence avec Amazon AI SageMaker .

SageMaker L'IA fournit également des fonctionnalités permettant de gérer les ressources et d'optimiser les performances d'inférence lors du déploiement de modèles d'apprentissage automatique :

• Pour gérer les modèles sur les appareils de périphérie afin d'optimiser, de sécuriser, de surveiller et de gérer les modèles d'apprentissage automatique sur des flottes d'appareils de périphérie, voirModélisez le déploiement à la périphérie avec SageMaker Edge Manager. Cela s'applique aux appareils périphériques tels que les caméras intelligentes, les robots, les ordinateurs personnels et les appareils mobiles.

• Pour optimiser les modèles Gluon, Keras, MXNet, PyTorch, TensorFlow, TensorFlow -Lite et ONNX pour l'inférence sur les machines Android, Linux et Windows basés sur des processeurs d'Ambarella, ARM, Intel, Nvidia, NXP, Qualcomm, Texas Instruments et Xilinx, voir. Optimisation des performances des modèles avec SageMaker Neo

Pour plus d'informations sur l'ensemble de ces options de déploiement, consultez Déploiement de modèles pour l'inférence.