開始方法

SageMaker Studio を介して評価ジョブを送信する

ステップ 1: モデルカードから評価に移動する

モデルをカスタマイズしたら、モデルカードから評価ページに移動します。

オープンウェイトカスタムモデルトレーニングの詳細については、https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-open-weight-job.html

SageMaker は、カスタマイズしたモデルを My Models タブで視覚化します。

最新バージョンを表示を選択し、評価を選択します。

ステップ 2: 評価ジョブを送信する

送信ボタンを選択し、評価ジョブを送信します。これにより、最小限の MMLU ベンチマークジョブが送信されます。

サポートされている評価ジョブタイプについては、「」を参照してください評価タイプとジョブ送信。

ステップ 3: 評価ジョブの進行状況を追跡する

評価ジョブの進行状況は、評価ステップタブで追跡されます。

ステップ 4: 評価ジョブの結果を表示する

評価ジョブの結果は、評価結果タブで視覚化されます。

ステップ 5: 完了した評価を表示する

完了した評価ジョブは、モデルカードの評価に表示されます。

SageMaker Python SDK を介して評価ジョブを送信する

ステップ 1: BenchMarkEvaluator を作成する

登録済みのトレーニング済みモデル、 AWS S3 出力場所、MLFlow リソース ARN を に渡BenchMarkEvaluatorしてから初期化します。

from sagemaker.train.evaluate import BenchMarkEvaluator, Benchmark  
  
evaluator = BenchMarkEvaluator(  
    benchmark=Benchmark.MMLU,  
    model="arn:aws:sagemaker:<region>:<account-id>:model-package/<model-package-name>/<version>",  
    s3_output_path="s3://<bucket-name>/<prefix>/eval/",  
    mlflow_resource_arn="arn:aws:sagemaker:<region>:<account-id>:mlflow-tracking-server/<tracking-server-name>",  
    evaluate_base_model=False  
)

ステップ 2: 評価ジョブを送信する

evaluate() メソッドを呼び出して評価ジョブを送信します。

execution = evaluator.evaluate()

ステップ 3: 評価ジョブの進行状況を追跡する

実行の wait()メソッドを呼び出して、評価ジョブの進行状況のライブ更新を取得します。

execution.wait(target_status="Succeeded", poll=5, timeout=3600)

ステップ 4: 評価ジョブの結果を表示する

show_results() メソッドを呼び出して、評価ジョブの結果を表示します。

execution.show_results()