Erste Schritte

Reichen Sie einen Bewertungsjob über SageMaker Studio ein

Schritt 1: Navigieren Sie auf Ihrer Modellkarte zur Bewertung

Nachdem Sie Ihr Modell angepasst haben, navigieren Sie von Ihrer Modellkarte aus zur Evaluierungsseite.

Informationen zum Training mit maßgeschneiderten Modellen mit offenem Gewicht finden Sie unter: https://docs.aws.amazon.com/sagemaker/latest/dg/model.html customize-open-weight-job

SageMaker visualisiert Ihr individuelles Modell auf der Registerkarte Meine Modelle:

Wählen Sie „Aktuelle Version anzeigen“ und anschließend „Evaluieren“ aus:

Schritt 2: Reichen Sie Ihren Bewertungsjob ein

Wählen Sie die Schaltfläche „Senden“ und reichen Sie Ihren Bewertungsjob ein. Dadurch wird ein minimaler MMLU-Benchmark-Job eingereicht.

Informationen zu den unterstützten Typen von Bewertungsaufträgen finden Sie unter. Bewertungsarten und Stelleneinreichung

Schritt 3: Verfolgen Sie den Fortschritt Ihres Bewertungsauftrags

Der Fortschritt Ihres Bewertungsauftrags wird auf der Registerkarte Bewertungsschritte nachverfolgt:

Schritt 4: Sehen Sie sich die Ergebnisse Ihrer Bewertungsjobs an

Die Ergebnisse Ihrer Bewertungsaufgabe werden auf der Registerkarte Bewertungsergebnisse visualisiert:

Schritt 5: Sehen Sie sich Ihre abgeschlossenen Bewertungen an

Ihr abgeschlossener Bewertungsauftrag wird unter Bewertungen Ihrer Modellkarte angezeigt:

Reichen Sie Ihren Evaluierungsjob über das SageMaker Python SDK ein

Schritt 1: Erstellen Sie Ihr BenchMarkEvaluator

Übergeben Sie Ihr registriertes trainiertes Modell, den AWS S3-Ausgabeort und den MLFlow Ressourcen-ARN an BenchMarkEvaluator und initialisieren Sie es dann.

from sagemaker.train.evaluate import BenchMarkEvaluator, Benchmark  
  
evaluator = BenchMarkEvaluator(  
    benchmark=Benchmark.MMLU,  
    model="arn:aws:sagemaker:<region>:<account-id>:model-package/<model-package-name>/<version>",  
    s3_output_path="s3://<bucket-name>/<prefix>/eval/",  
    mlflow_resource_arn="arn:aws:sagemaker:<region>:<account-id>:mlflow-tracking-server/<tracking-server-name>",  
    evaluate_base_model=False  
)

Schritt 2: Reichen Sie Ihren Bewertungsjob ein

Rufen Sie die evaluate() Methode auf, um den Bewertungsjob einzureichen.

execution = evaluator.evaluate()

Schritt 3: Verfolgen Sie den Fortschritt Ihres Bewertungsauftrags

Rufen Sie die wait() Ausführungsmethode auf, um eine Live-Aktualisierung des Fortschritts der Evaluierungsaufgabe zu erhalten.

execution.wait(target_status="Succeeded", poll=5, timeout=3600)

Schritt 4: Sehen Sie sich die Ergebnisse Ihrer Bewertungsjobs an

Rufen Sie die show_results() Methode auf, um die Ergebnisse Ihrer Bewertungsaufgabe anzuzeigen.

execution.show_results()