Traitement de la sortie d'entraînement par Amazon SageMaker - Amazon SageMaker

Traitement de la sortie d'entraînement par Amazon SageMaker

À mesure que votre algorithme s'exécute dans un conteneur, il génère une sortie incluant le statut de la tâche et du modèle d'entraînement, ainsi que des artefacts de sortie. Votre algorithme doit écrire ces informations dans les fichiers suivants, placés dans le répertoire /output du conteneur. Amazon SageMaker traite les informations contenues dans ce répertoire de la façon suivante :

  • /opt/ml/model : votre algorithme doit écrire tous les artefacts du modèle final dans ce répertoire. SageMaker copie ces données sous la forme d'un seul objet au format tar compressé dans l'emplacement S3 que vous avez spécifié dans la requête CreateTrainingJob. Si plusieurs conteneurs d'une même tâche d'entraînement écrivent dans ce répertoire, ils doivent éviter tout conflit de noms file/directory. SageMaker regroupe le résultat dans un fichier tar et le télécharge dans S3. SageMaker regroupe le résultat dans un fichier tar et le télécharge dans S3 à la fin de la tâche d'entraînement.

  • /opt/ml/output— Votre algorithme doit écrire dans ce répertoire les artefacts que vous souhaitez stocker à l'exception du modèle final. SageMaker copie ces données sous la forme d'un seul objet au format tar compressé dans l'emplacement S3 que vous avez spécifié dans la requête CreateTrainingJob. Si plusieurs conteneurs d'une même tâche d'entraînement écrivent dans ce répertoire, ils doivent éviter tout conflit de noms file/directory. SageMaker regroupe le résultat dans un fichier tar et le télécharge dans S3 à lla fin de la tâche d'entraînement.

  • /opt/ml/output/failure  Si l'entraînement échoue, une fois que toutes les sorties de l'algorithme (par exemple, la journalisation) sont terminées, votre algorithme doit écrire la description de la défaillance dans ce fichier. Dans une réponse DescribeTrainingJob, SageMaker renvoie les 1 024 premiers caractères de ce fichier en tant que FailureReason.