Exemple : Affichage d'une courbe d'entraînement et de validation

En règle générale, vous divisez les données sur lesquelles vous entraînez votre modèle en jeux de données d'entraînement et de validation. Vous utilisez l'ensemble de données d'entraînement pour entraîner les paramètres du modèle qui sont utilisés pour effectuer des prédictions sur l'ensemble de données d'entraînement. Puis, vous testez la qualité des prédictions du modèle en calculant les prédictions pour l'ensemble de données de validation. Pour analyser les performances d'une tâche d'entraînement, vous tracez habituellement une courbe d'entraînement et une courbe de validation.

L'affichage d'un graphique qui illustre la précision des ensembles de données d'entraînement et de validation au fil du temps peut vous aider à améliorer la performance de votre modèle. Par exemple, si la précision de l'ensemble de données d'entraînement continue d'augmenter au fil du temps, mais qu'à un moment donné, la précision de l'ensemble de données de validation commence à diminuer, il est probable que votre modèle soit surajusté. Pour résoudre ce problème, vous pouvez ajuster votre modèle (par exemple, augmentation de la régularisation).

Pour cet exemple, vous pouvez utiliser l'mage-classification-full-trainingexemple I dans la section Exemples de blocs-notes de votre instance de bloc-notes SageMaker AI. Si vous ne possédez pas d'instance de SageMaker bloc-notes, créez-en une en suivant les instructions deCréation d'une instance Amazon SageMaker Notebook pour le didacticiel. Si vous préférez, vous pouvez suivre l'exemple de classification d'images End-to-End multiclasses dans le bloc-notes d'exemple ci-dessous. GitHub Vous avez également besoin d'un compartiment Amazon S3 pour stocker les données d'entraînement et pour la sortie du modèle.

Pour consulter une courbe d'entraînement et une courbe de validation

1. Ouvrez la console SageMaker AI à l'adresse https://console.aws.amazon.com/sagemaker.

2. Choisissez Blocs-notes, puis Instances de blocs-notes.

3. Choisissez l'instance de bloc-notes que vous souhaitez utiliser, puis choisissez Ouvrir.

4. Sur le tableau de bord de votre instance de bloc-notes, sélectionnez SageMaker AI Examples.

5. Développez la section Introduction aux algorithmes Amazon, puis choisissez Utiliser à côté de I mage-classification-fulltraining .ipynb.

6. Choisissez Créer une copie. SageMaker AI crée une copie modifiable du bloc-notes I mage-classification-fulltraining .ipynb dans votre instance de bloc-notes.

7. Exécutez toutes les cellules du bloc-notes jusqu'à la section Inference (Inférence). Vous n'avez pas besoin de déployer un point de terminaison ou d'obtenir une inférence pour cet exemple.

8. Une fois la tâche de formation lancée, ouvrez la CloudWatch console à l'adresse https://console.aws.amazon.com/cloudwatch.

9. Choisissez Metrics, puis choisissez/aws/sagemaker/TrainingJobs.

10. Sélectionnez TrainingJobName.

11. Sous l'onglet All metrics (Toutes les métriques), sélectionnez les métriques train:accuracy et validation:accuracy pour la tâche d'entraînement que vous avez créée dans le bloc-notes.

12. Sur le graphique, sélectionnez une zone avec une valeur de métrique sur laquelle zoomer. Vous devriez voir un résultat similaire à l'exemple suivant.