Options de déploiement de modèles sur Amazon SageMaker

Après avoir entraîné votre modèle d'apprentissage automatique, vous pouvez le déployer à l'aide d'Amazon SageMaker pour obtenir des prédictions. Amazon SageMaker prend en charge les méthodes suivantes pour déployer un modèle, en fonction de votre cas d'utilisation :

• Pour les points de terminaison persistants en temps réel qui font une prédiction à la fois, utilisez des services d'hébergement SageMaker en temps réel. Consultez Inférence en temps réel.

• Les charges de travail qui présentent des périodes d'inactivité entre les pics de trafic et qui peuvent tolérer les démarrages à froid utilisent l'inférence sans serveur. Consultez Déployez des modèles avec Amazon SageMaker Serverless Inference.

• Les demandes présentant une charge utile importante (jusqu'à 1 Go), des délais de traitement longs et des exigences de latence quasiment en temps réel utilisent Amazon SageMaker Asynchronous Inference. Consultez Inférence asynchrone.

• Pour obtenir des prédictions pour un ensemble de données complet, utilisez la transformation SageMaker par lots. Consultez Transformation par lots à des fins d'inférence avec Amazon SageMaker.

SageMaker fournit également des fonctionnalités permettant de gérer les ressources et d'optimiser les performances d'inférence lors du déploiement de modèles d'apprentissage automatique :

• Pour gérer les modèles sur les appareils de périphérie afin d'optimiser, de sécuriser, de surveiller et de gérer les modèles d'apprentissage automatique sur des flottes d'appareils de périphérie, voirModélisez le déploiement à la périphérie avec SageMaker Edge Manager. Cela s'applique aux appareils périphériques tels que les caméras intelligentes, les robots, les ordinateurs personnels et les appareils mobiles.

• Pour optimiser Gluon, Keras,,MXNet, PyTorch TensorFlow, TensorFlow -Lite et les ONNX modèles d'inférence sur les machines Android, Linux et Windows basés sur des processeurs d'Ambarella, Intel, NvidiaARM, QualcommNXP, Texas Instruments et Xilinx, voir. Optimisation des performances des modèles avec SageMaker Neo

Pour plus d'informations sur l'ensemble de ces options de déploiement, consultez Déploiement de modèles pour l'inférence.