Nozioni di base

Invia un lavoro di valutazione tramite SageMaker Studio

Passaggio 1: accedi alla valutazione dalla tua scheda modello

Dopo aver personalizzato il modello, accedi alla pagina di valutazione dalla scheda del modello.

Per informazioni sull'allenamento con modelli personalizzati a pesi aperti: https://docs.aws.amazon.com/sagemaker/latest/dg/model- .html customize-open-weight-job

SageMaker visualizza il tuo modello personalizzato nella scheda I miei modelli:

Scegli Visualizza la versione più recente, quindi scegli Valuta:

Fase 2: Invia il tuo Job di valutazione

Scegli il pulsante Invia e invia il tuo lavoro di valutazione. Questo invia un lavoro di benchmark MMLU minimo.

Per informazioni sui tipi di processi di valutazione supportati, vedere. Tipi di valutazione e Job Submission

Fase 3: Tieni traccia dei progressi del tuo Job di valutazione

L'avanzamento del lavoro di valutazione viene monitorato nella scheda Fasi di valutazione:

Fase 4: Visualizzazione dei risultati del Job di valutazione

I risultati del lavoro di valutazione vengono visualizzati nella scheda Risultati della valutazione:

Fase 5: Visualizza le valutazioni completate

Il lavoro di valutazione completato viene visualizzato nella scheda Valutazioni del modello:

Invia il tuo lavoro di valutazione tramite SageMaker Python SDK

Passaggio 1: crea il tuo BenchMarkEvaluator

Passa il modello addestrato registrato, la posizione di output AWS S3 e l'ARN della MLFlow risorsa e quindi BenchMarkEvaluator inizializzali.

from sagemaker.train.evaluate import BenchMarkEvaluator, Benchmark  
  
evaluator = BenchMarkEvaluator(  
    benchmark=Benchmark.MMLU,  
    model="arn:aws:sagemaker:<region>:<account-id>:model-package/<model-package-name>/<version>",  
    s3_output_path="s3://<bucket-name>/<prefix>/eval/",  
    mlflow_resource_arn="arn:aws:sagemaker:<region>:<account-id>:mlflow-tracking-server/<tracking-server-name>",  
    evaluate_base_model=False  
)

Fase 2: Invia il tuo Job di valutazione

Chiama il evaluate() metodo per inviare il lavoro di valutazione.

execution = evaluator.evaluate()

Fase 3: Tieni traccia dei progressi del tuo Job di valutazione

Richiama il wait() metodo di esecuzione per ottenere un aggiornamento in tempo reale sullo stato di avanzamento del lavoro di valutazione.

execution.wait(target_status="Succeeded", poll=5, timeout=3600)

Fase 4: Visualizzazione dei risultati del Job di valutazione

Richiama il show_results() metodo per visualizzare i risultati del lavoro di valutazione.

execution.show_results()