Suivi des progrès au fil des itérations

Vous pouvez suivre les métriques via MLflow.

Nova Customization - Configuration de MLflow pour SageMaker HyperPod

Pour permettre à votre SageMaker HyperPod environnement de générer des métriques vers MLflow, il est nécessaire de procéder à une configuration supplémentaire.

1. Ouvrez Amazon SageMaker AI

2. Sélectionnez un SageMaker studio

   1. Si un profil est déjà créé, sélectionnez « Open Studio ».

   2. Si aucun profil n'est créé, sélectionnez « Créer un SageMaker domaine » pour en créer un

3. Sélectionnez MLflow. Si aucune application MLflow n'a été créée, sélectionnez « Créer une application MLflow »

4. Cliquez sur le copy/paste bouton ou sur l'élément de menu « Afficher les détails » de l'application ML Flow pour obtenir l'ARN. Vous en aurez besoin lorsque vous soumettrez votre offre de formation.

   

5. Sur le rôle d'exécution du HyperPod cluster, ajoutez la politique suivante. Cela permettra au HyperPod cluster d'appeler l'API MLflow pour publier des métriques.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": "sagemaker-mlflow:*",
            "Resource": [
                "arn:aws:sagemaker:us-east-1:372836560492:mlflow-app/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "sagemaker:ListMlflowTrackingServers",
                "sagemaker:CallMlflowAppApi"
            ],
            "Resource": "*"
        }
    ]
}
  

Soumettre une offre d'emploi via la CLI

Spécifiez 4 nouveaux paramètres de remplacement, soit dans la ligne de commande, soit dans la recette yaml.

1. mlflow_tracking_uri: L'ARN de l'application MLflow

2. mlflow_experiment_name: Le nom de cette série d'expériences

3. mlflow_experiment_name: le nom de l'expérience dans laquelle les métriques seront stockées dans MLflow

4. mlflow_run_name: Le nom de cette expérience

Ligne de commande

--override-parameters '{"recipes.run.mlflow_tracking_uri": "arn:aws:sagemaker:us-east-1:925548216816:mlflow-app/app-B6XOUNCHQM4W", "recipes.run.mlflow_experiment_name": "myuser-sft-lora-exp1", "recipes.run.mlflow_run_name": "myuser-sft-lora-exp1-202512181940"}'
    

yaml :

## Run config
run:
  mlflow_tracking_uri: "arn:aws:sagemaker:us-east-1:925548216816:mlflow-app/app-B6XOUNCHQM4W" 
  mlflow_experiment_name: "myuser-sft-lora-exp1"
  mlflow_run_name: "myuser-sft-lora-exp1-202512181940"
    

Soumettre une offre d'emploi via l'interface utilisateur de SageMaker Studio

L'intégration de MLflow est déjà intégrée à l'expérience de l'interface utilisateur de SageMaker Studio. Lorsque vous soumettez une tâche de formation, indiquez simplement l'instance de l'application MLflow à utiliser.

1. Dans SageMaker Studio, accédez à Modèles > Nova 2.0 Lite > Personnaliser > Personnaliser avec l'interface utilisateur.

2. Développez la section Configuration avancée

3. Sélectionnez l'application MLflow à laquelle vous souhaitez envoyer les mesures d'entraînement. Vous pouvez également définir le nom de votre expérience et l'exécuter ici.

Soumettre une offre d'emploi via le AWS CLI

Si vous utilisez le AWS CLI, vous devez créer une application MLflow et la transmettre en tant qu'entrée à la demande d'API de la tâche de formation.

mlflow_app_name="<enter your MLflow app name>"
role_arn="<enter your role ARN>"
bucket_name="<enter your bucket name>"
region="<enter your region>"

mlflow_app_arn=$(aws sagemaker create-mlflow-app \
  --name $mlflow_app_name \
  --artifact-store-uri "s3://$bucket_name" \
  --role-arn $role_arn \
  --region $region)

Création d'une application MLflow

Utilisation de l'interface utilisateur de Studio : si vous créez une tâche de formation via l'interface utilisateur de Studio, une application MLflow par défaut est créée automatiquement et sélectionnée par défaut dans Options avancées.

À l'aide de la CLI : si vous utilisez la CLI, vous devez créer une application MLflow et la transmettre en tant qu'entrée à la demande d'API de la tâche de formation.

mlflow_app_name="<enter your MLflow app name>"
role_arn="<enter your role ARN>"
bucket_name="<enter your bucket name>"
region="<enter your region>"

mlflow_app_arn=$(aws sagemaker create-mlflow-app \
  --name $mlflow_app_name \
  --artifact-store-uri "s3://$bucket_name" \
  --role-arn $role_arn \
  --region $region)

Accédez à l'application MLflow

À l'aide de la CLI : créez une URL pré-signée pour accéder à l'interface utilisateur de l'application MLflow :

aws sagemaker create-presigned-mlflow-app-url \
  --arn $mlflow_app_arn \
  --region $region \
  --output text

Utilisation de l'interface utilisateur de Studio : l'interface utilisateur de Studio affiche les mesures clés stockées dans MLflow et fournit un lien vers l'interface utilisateur de l'application MLflow.

Indicateurs clés à suivre

Surveillez ces indicateurs au fil des itérations pour évaluer les améliorations et suivre l'avancement des tâches :

Pour SFT

• Courbes de perte à l'entraînement

• Nombre d'échantillons consommés et temps de traitement des échantillons

• Précision des performances sur les kits de test conservés

• Conformité du format (par exemple, débit de sortie JSON valide)

• Perplexité quant aux données d'évaluation spécifiques à un domaine

Pour RFT

• Scores de récompense moyens par rapport à l'entraînement

• Distribution des récompenses (pourcentage de réponses offrant des récompenses élevées)

• Tendances en matière de récompenses liées à la validation (attention au surajustement)

• Task-specific taux de réussite (par exemple, taux de réussite d'exécution de code, précision des problèmes mathématiques)

Général

• Deltas de performance de référence entre les itérations

• Scores d'évaluation humaine sur des échantillons représentatifs

• Métriques de production (en cas de déploiement itératif)

Déterminer quand arrêter

Arrêtez d'itérer lorsque :

• Plateaux de performance  : la formation supplémentaire n'améliore plus de manière significative les indicateurs cibles

• Le changement de technique est utile  : si une technique se stabilise, essayez de changer (par exemple, SFT → RFT → SFT) pour dépasser les plafonds de performance

• Indicateurs cibles atteints  : vos critères de réussite sont atteints

• Régression détectée  : les nouvelles itérations dégradent les performances (voir les procédures d'annulation ci-dessous)

Pour les procédures d'évaluation détaillées, reportez-vous à la section Évaluation.