Démarrage

Soumettre un travail d'évaluation via SageMaker Studio

Étape 1 : Accédez à l'évaluation à partir de votre carte modèle

Après avoir personnalisé votre modèle, accédez à la page d'évaluation depuis votre fiche modèle.

Pour plus d'informations sur l'entraînement sur modèle personnalisé avec poids libre : https://docs.aws.amazon.com/sagemaker/latest/dg/model- .html customize-open-weight-job

SageMaker visualise votre modèle personnalisé dans l'onglet Mes modèles :

Choisissez Afficher la dernière version, puis sélectionnez Évaluer :

Étape 2 : Soumettez votre job d'évaluation

Cliquez sur le bouton Soumettre et soumettez votre travail d'évaluation. Cela soumet une tâche de référence minimale au MMLU.

Pour plus d'informations sur les types de tâches d'évaluation pris en charge, consultezTypes d'évaluation et soumission de Job.

Étape 3 : Suivez la progression de votre job d'évaluation

La progression de votre tâche d'évaluation est suivie dans l'onglet Étapes d'évaluation :

Étape 4 : Afficher les résultats de votre job d'évaluation

Les résultats de votre travail d'évaluation sont visualisés dans l'onglet Résultats de l'évaluation :

Étape 5 : Afficher vos évaluations terminées

Votre tâche d'évaluation terminée est affichée dans Évaluations de votre modèle de carte :

Soumettez votre travail d'évaluation via le SDK SageMaker Python

Étape 1 : Créez votre BenchMarkEvaluator

Transmettez votre modèle entraîné enregistré, l'emplacement de sortie AWS S3 et l'ARN MLFlow des ressources à, BenchMarkEvaluator puis initialisez-les.

from sagemaker.train.evaluate import BenchMarkEvaluator, Benchmark  
  
evaluator = BenchMarkEvaluator(  
    benchmark=Benchmark.MMLU,  
    model="arn:aws:sagemaker:<region>:<account-id>:model-package/<model-package-name>/<version>",  
    s3_output_path="s3://<bucket-name>/<prefix>/eval/",  
    mlflow_resource_arn="arn:aws:sagemaker:<region>:<account-id>:mlflow-tracking-server/<tracking-server-name>",  
    evaluate_base_model=False  
)

Étape 2 : Soumettez votre job d'évaluation

Appelez la evaluate() méthode pour soumettre le travail d'évaluation.

execution = evaluator.evaluate()

Étape 3 : Suivez la progression de votre job d'évaluation

Appelez la wait() méthode d'exécution pour obtenir une mise à jour en temps réel de l'avancement de la tâche d'évaluation.

execution.wait(target_status="Succeeded", poll=5, timeout=3600)

Étape 4 : Afficher les résultats de votre job d'évaluation

Appelez la show_results() méthode pour afficher les résultats de votre tâche d'évaluation.

execution.show_results()