모델 사용자 지정 작업 결과 분석

모델 사용자 지정 작업이 완료되면 작업을 제출할 때 지정한 출력 S3 폴더의 파일을 보거나 모델에 대한 세부 정보를 확인하여 훈련 프로세스의 결과를 분석할 수 있습니다. Amazon Bedrock은 사용자 지정 모델을 계정에 범위가 지정된 AWS관리형 스토리지에 저장합니다.

모델 평가 작업을 실행하여 모델을 평가할 수도 있습니다. 자세한 내용은 Amazon Bedrock 평가를 사용하여 최상의 성능 모델 선택 단원을 참조하십시오.

모델 사용자 지정 작업의 S3 출력에는 S3 폴더에 다음 출력 파일이 포함됩니다. 검증 아티팩트는 검증 데이터 세트를 포함하는 경우에만 나타납니다.

- model-customization-job-training-job-id/
    - training_artifacts/
        - step_wise_training_metrics.csv
    - validation_artifacts/
        - post_fine_tuning_validation/
            - validation_metrics.csv

step_wise_training_metrics.csv 및 validation_metrics.csv 파일을 사용하여 모델 사용자 지정 작업을 분석하고, 필요에 따라 모델을 조정할 수 있습니다.

step_wise_training_metrics.csv 파일의 열은 다음과 같습니다.

• step_number – 훈련 프로세스의 단계입니다. 0부터 시작합니다.

• epoch_number – 훈련 프로세스의 에폭입니다.

• training_loss - 모델이 훈련 데이터에 얼마나 잘 맞는지 나타냅니다. 값이 낮을수록 더 잘 맞는 것입니다.

• 복잡성 - 모델이 토큰 시퀀스를 얼마나 잘 예측할 수 있는지 나타냅니다. 값이 낮을수록 예측 능력이 향상됩니다.

validation_metrics.csv 파일의 열은 validation_loss (모델이 검증 데이터에 얼마나 잘 맞는지)가 대신 표시되는 것을 제외하고 훈련 파일과 동일합니다training_loss.

https://console.aws.amazon.com/s3를 직접 열거나 모델 세부 정보 내의 출력 폴더 링크를 찾아 출력 파일을 찾을 수 있습니다. 선택한 메서드에 해당하는 탭을 선택하고 다음 단계를 따릅니다.

Console

1. Amazon Bedrock 권한이 있는 역할을 AWS Management Console 사용하여 에 로그인하고 에서 Amazon Bedrock 콘솔을 엽니다https://console.aws.amazon.com/bedrock/. IAM

2. 왼쪽 탐색 창에서 파운데이션 모델 에서 사용자 지정 모델을 선택합니다.

3. 모델 탭에서 모델을 선택하여 세부 정보를 확인합니다. 작업 이름은 모델 세부 정보 섹션에서 찾을 수 있습니다.

4. 출력 S3 파일을 보려면 출력 데이터 섹션에서 S3 위치를 선택합니다.

5. 폴더에서 이름 이 모델의 작업 이름과 일치하는 훈련 및 검증 지표 파일을 찾습니다.

API

모든 사용자 지정 모델에 대한 정보를 나열하려면 Amazon Bedrock 제어 영역 엔드포인트 를 사용하여 ListCustomModels (요청 및 응답 형식과 필드 세부 정보는 링크 참조) 요청을 보냅니다. 사용할 수 있는 필터ListCustomModels는 섹션을 참조하세요.

사용자 지정 모델의 모든 태그를 나열하려면 Amazon Bedrock 제어 영역 엔드포인트와 함께 ListTagsForResource 요청(요청 및 응답 형식 및 필드 세부 정보는 링크 참조)을 보내고 사용자 지정 모델의 Amazon 리소스 이름(ARN)을 포함합니다.

모델 사용자 지정 작업의 상태를 모니터링하려면 Amazon Bedrock 제어 영역 엔드포인트와 함께 GetCustomModel (요청 및 응답 형식 및 필드 세부 정보는 링크 참조) 요청을 다음 중 modelIdentifier하나로 보냅니다.

• 모델을 제공한 이름입니다.

• ARN 모델의 .

GetModelCustomizationJob 또는 GetCustomModel 응답에서 validationMetrics 모델 사용자 지정 작업의 trainingMetrics 및 를 볼 수 있습니다.

훈련 및 검증 지표 파일을 다운로드하려면 객체 다운로드의 단계를 따르세요. 에서 URI 제공한 S3를 사용합니다outputDataConfig.

코드 예제 참조