Exemples de blocs-notes : Utilisation de votre propre algorithme ou modèle - Amazon SageMaker

Exemples de blocs-notes : Utilisation de votre propre algorithme ou modèle

Les blocs-notes Jupyter suivants montrent comment utiliser vos propres algorithmes ou vos modèles pré-entraînés à partir d'une instance de bloc-notes Amazon SageMaker. Pour obtenir des liens vers les référentiels GitHub avec les fichiers Dockerfile préconçus pour les cadres TensorFlow, MXNet, Chainer et PyTorch, et des instructions sur l'utilisation des estimateurs AWS SDK for Python (Boto3) pour exécuter vos propres algorithmes d'entraînement sur SageMaker Learner et vos propres modèles sur le service d'hébergement SageMaker, veuillez consulter Images SageMaker Docker préconçues pour le deep learning.

Installation

  1. Créez une instance de bloc-notes SageMaker. Pour obtenir les instructions permettant de créer des instances de bloc-notes Jupyter et d'y accéder, consultez Utilisation des instances de bloc-notes Amazon SageMaker.

  2. Ouvrez l'instance de blocs-notes que vous avez créée.

  3. Choisissez l'onglet SageMaker Examples (Exemples SageMaker) pour obtenir la liste de tous les exemples de blocs-notes SageMaker.

  4. Ouvrez les exemples de blocs-notes dans la section Advanced Functionality (Fonctionnalités avancées) de votre instance de bloc-notes ou à partir de GitHub en suivant les liens fournis. Pour ouvrir un bloc-notes, choisissez l'onglet Use (Utiliser) correspondant, puis Create copy (Créer une copie).

Hébergement de modèles entraînés dans Scikit-Learn

Pour apprendre à héberger des modèles entraînés dans Scikit-learn pour réaliser des prédictions dans SageMaker en les injectant dans des conteneurs XGBoost et des k-moyennes (k-means) nominatives, veuillez consulter les exemples de blocs-notes suivants.

Mise en package de modèles TensorFlow et Scitkit-learn pour une utilisation dans SageMaker

Pour apprendre à mettre en package les algorithmes que vous avez développés dans les cadres TensorFlow et scikit-learn pour l'entraînement et le déploiement dans l'environnement SageMaker, veuillez consulter les blocs-notes suivants. Ils vous expliquent comment créer, enregistrer et déployer vos propres conteneurs Docker à l'aide de Dockerfiles.

Entraînement et déploiement d'un réseau neuronal sur SageMaker

Pour apprendre à entraîner un réseau neuronal localement à l'aide de MXNet ou de TensorFlow, puis à créer un point de terminaison à partir du modèle entraîné et à le déployer sur SageMaker, veuillez consulter les blocs-notes suivants. Le modèle MXNet est formé à reconnaître les nombres manuscrits à partir de l'ensemble de données MNIST. Le modèle TensorFlow est formé pour classer les iris.

Entraînement en mode Pipe

Pour apprendre à utiliser un fichier Dockerfile pour générer un conteneur qui appelle le train.py script et qui utilise le mode Pipe pour entraîner de façon personnalisée un algorithme, consultez le bloc-notes suivant. En mode Pipe, les données d'entrée sont transférées à l'algorithme pendant sa formation. Cela peut diminuer la durée de l'entraînement par rapport à l'utilisation du mode File.

Apportez votre propre modèle R

Pour apprendre à utiliser un conteneur R pour former et héberger un modèle avec le noyau R installé dans un bloc-notes, veuillez consulter le bloc-notes suivant. Pour tirer parti du SDK for Python (Boto3) AWS, nous utilisons Python dans le bloc-notes. Vous pouvez obtenir les mêmes résultats dans R en appelant des arguments de ligne de commande.

Extension d'une image de conteneur PyTorch préconçue

Pour apprendre à étendre une image de conteneur SageMaker PyTorch préconçue lorsque votre algorithme ou modèle a des exigences fonctionnelles supplémentaires que l'image Docker préconçue ne prend pas en charge, veuillez consulter le bloc-notes suivant.

Entraînement et débogage des tâches d'entraînement sur un conteneur personnalisé

Pour apprendre à entraîner et déboguer des tâches d'entraînement à l'aide de SageMaker Debugger, veuillez consulter le bloc-notes suivant. Un script d'entraînement fourni dans cet exemple utilise le modèle TensorFlow Keras ResNet 50 et le jeu de données CIFAR10. Un conteneur personnalisé Docker est créé avec le script d'entraînement, puis transmis à Amazon ECR. Pendant que la tâche d'entraînement s'exécute, Debugger collecte les sorties des tenseurs et identifie les problèmes de débogage. Avec les outils de la bibliothèque client smdebug, vous pouvez définir un objet test smdebug qui appelle la tâche d'entraînement et les informations de débogage, vérifie l'état de l'entraînement et de la règle de débogage, et récupère les tenseurs enregistrés dans un compartiment Amazon S3 afin d'analyser les problèmes d'entraînement.