Introducción

Presente un trabajo de evaluación a través de SageMaker Studio

Paso 1: Navegue hasta la evaluación desde su tarjeta modelo

Después de personalizar el modelo, vaya a la página de evaluación desde su tarjeta de modelo.

Para obtener información sobre el entrenamiento con modelos personalizados con pesas abiertas: https://docs.aws.amazon.com/sagemaker/latest/dg/model- .html customize-open-weight-job

SageMaker visualiza su modelo personalizado en la pestaña Mis modelos:

Seleccione Ver la última versión y, a continuación, elija Evaluar:

Paso 2: Envíe su trabajo de evaluación

Pulse el botón Enviar y envíe su trabajo de evaluación. Esto presenta un trabajo mínimo de referencia de MMLU.

Para obtener información sobre los tipos de trabajos de evaluación admitidos, consulte. Tipos de evaluación y presentación de trabajos

Paso 3: Realice un seguimiento del progreso de su trabajo de evaluación

El progreso de su trabajo de evaluación se registra en la pestaña Pasos de evaluación:

Paso 4: Vea los resultados de su trabajo de evaluación

Los resultados de su trabajo de evaluación se visualizan en la pestaña Resultados de la evaluación:

Paso 5: Vea sus evaluaciones completadas

El trabajo de evaluación completado se muestra en Evaluaciones de su tarjeta modelo:

Envíe su trabajo de evaluación a través del SDK de SageMaker Python

Paso 1: Crea tu BenchMarkEvaluator

Transfiera el modelo entrenado registrado, la ubicación de salida de AWS S3 y el ARN del MLFlow recurso y, a continuación, BenchMarkEvaluator inicialícelo.

from sagemaker.train.evaluate import BenchMarkEvaluator, Benchmark  
  
evaluator = BenchMarkEvaluator(  
    benchmark=Benchmark.MMLU,  
    model="arn:aws:sagemaker:<region>:<account-id>:model-package/<model-package-name>/<version>",  
    s3_output_path="s3://<bucket-name>/<prefix>/eval/",  
    mlflow_resource_arn="arn:aws:sagemaker:<region>:<account-id>:mlflow-tracking-server/<tracking-server-name>",  
    evaluate_base_model=False  
)

Paso 2: Envíe su trabajo de evaluación

Utilice el evaluate() método para enviar el trabajo de evaluación.

execution = evaluator.evaluate()

Paso 3: Realice un seguimiento del progreso de su trabajo de evaluación

Utilice el wait() método de ejecución para obtener una actualización en tiempo real del progreso del trabajo de evaluación.

execution.wait(target_status="Succeeded", poll=5, timeout=3600)

Paso 4: Vea los resultados de su trabajo de evaluación

Utilice el show_results() método para mostrar los resultados de su trabajo de evaluación.

execution.show_results()