시작하기

SageMaker Studio를 통해 평가 작업 제출

1단계: 모델 카드에서 평가로 이동

모델을 사용자 지정한 후 모델 카드에서 평가 페이지로 이동합니다.

개방형 사용자 지정 모델 훈련에 대한 자세한 내용은 https://docs.aws.amazon.com/sagemaker/latest/dg/model-customize-open-weight-job.html 참조하십시오.

SageMaker는 내 모델 탭에서 사용자 지정 모델을 시각화합니다.

최신 버전 보기를 선택한 다음 평가를 선택합니다.

2단계: 평가 작업 제출

제출 버튼을 선택하고 평가 작업을 제출합니다. 이렇게 하면 최소 MMLU 벤치마크 작업이 제출됩니다.

지원되는 평가 작업 유형에 대한 자세한 내용은 섹션을 참조하세요평가 유형 및 작업 제출.

3단계: 평가 작업 진행 상황 추적

평가 작업 진행 상황은 평가 단계 탭에서 추적됩니다.

4단계: 평가 작업 결과 보기

평가 작업 결과는 평가 결과 탭에 시각화됩니다.

5단계: 완료된 평가 보기

완료된 평가 작업은 모델 카드의 평가에 표시됩니다.

SageMaker Python SDK를 통해 평가 작업 제출

1단계: BenchMarkEvaluator 생성

등록된 훈련된 모델, AWS S3 출력 위치 및 MLFlow 리소스 ARN을에 전달BenchMarkEvaluator한 다음 초기화합니다.

from sagemaker.train.evaluate import BenchMarkEvaluator, Benchmark  
  
evaluator = BenchMarkEvaluator(  
    benchmark=Benchmark.MMLU,  
    model="arn:aws:sagemaker:<region>:<account-id>:model-package/<model-package-name>/<version>",  
    s3_output_path="s3://<bucket-name>/<prefix>/eval/",  
    mlflow_resource_arn="arn:aws:sagemaker:<region>:<account-id>:mlflow-tracking-server/<tracking-server-name>",  
    evaluate_base_model=False  
)

2단계: 평가 작업 제출

evaluate() 메서드를 호출하여 평가 작업을 제출합니다.

execution = evaluator.evaluate()

3단계: 평가 작업 진행 상황 추적

실행 wait() 메서드를 호출하여 평가 작업 진행 상황을 실시간으로 업데이트합니다.

execution.wait(target_status="Succeeded", poll=5, timeout=3600)

4단계: 평가 작업 결과 보기

show_results() 메서드를 호출하여 평가 작업 결과를 표시합니다.

execution.show_results()