모델 사용자 지정 작업 결과 분석 - Amazon Bedrock

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

모델 사용자 지정 작업 결과 분석

모델 사용자 지정 작업이 완료되면 작업을 제출할 때 지정한 출력 S3 폴더의 파일을 확인하거나 모델의 세부 정보를 확인하여 훈련 프로세스의 결과를 분석할 수 있습니다. Amazon Bedrock은 사용자 지정 모델을 관리 AWS형 스토리지에 계정에 저장합니다.

모델 평가 작업을 실행하여 모델을 평가할 수도 있습니다. 자세한 내용은 Amazon Bedrock 리소스의 성능 평가 단원을 참조하십시오.

모델 사용자 지정 작업의 S3 출력에서는 S3 폴더에 다음 출력 파일이 포함됩니다. 검증 아티팩트는 검증 데이터세트를 포함하는 경우에만 나타납니다.

- model-customization-job-training-job-id/ - training_artifacts/ - step_wise_training_metrics.csv - validation_artifacts/ - post_fine_tuning_validation/ - validation_metrics.csv

step_wise_training_metrics.csvvalidation_metrics.csv 파일을 사용하여 모델 사용자 지정 작업을 분석하고, 필요에 따라 모델을 조정할 수 있습니다.

step_wise_training_metrics.csv 파일의 열은 다음과 같습니다.

  • step_number – 훈련 프로세스의 단계입니다. 0부터 시작합니다.

  • epoch_number – 훈련 프로세스의 에포크입니다.

  • training_loss - 모델이 훈련 데이터에 얼마나 잘 맞는지 측정합니다. 값이 낮을수록 더 적합하다는 뜻입니다.

  • perplexity - 모델이 토큰 시퀀스를 얼마나 잘 예측할 수 있는지 나타냅니다. 값이 낮을수록 예측 능력이 좋다는 뜻입니다.

validation_metrics.csv 파일의 열은 training_loss 대신 validation_loss(모델이 검증 데이터에 얼마나 잘 맞는지)가 표시되는 것을 제외하면 훈련 파일과 동일합니다.

https://console.aws.amazon.com/s3를 직접 열거나 모델 세부 정보 내의 출력 폴더에 대한 링크를 찾아 출력 파일을 찾을 수 있습니다. 원하는 메서드의 탭을 선택한 다음 다음 단계를 따릅니다.

Console
  1. IAM Amazon Bedrock 권한이 있는 역할을 AWS Management Console 사용하여에 로그인하고에서 Amazon Bedrock 콘솔을 엽니다https://console.aws.amazon.com/bedrock/.

  2. 왼쪽 탐색 창의 파운데이션 모델에서 사용자 지정 모델을 선택합니다.

  3. 모델 탭에서 세부 정보를 확인할 모델을 선택합니다. 작업 이름모델 세부 정보 섹션에서 찾을 수 있습니다.

  4. 출력 S3 파일을 확인하려면 출력 데이터 섹션에서 S3 위치를 선택합니다.

  5. 폴더에서 이름이 모델의 작업 이름과 일치하는 훈련 및 검증 지표 파일을 찾습니다.

API

모든 사용자 지정 모델에 대한 정보를 나열하려면 Amazon Bedrock 제어 영역 엔드포인트와 함께 ListCustomModels (요청 및 응답 형식 및 필드 세부 정보는 링크 참조) 요청을 보냅니다. 사용할 수 있는 필터ListCustomModels는 섹션을 참조하세요.

사용자 지정 모델의 모든 태그를 나열하려면 Amazon Bedrock 제어 영역 엔드포인트ListTagsForResource 요청을 보내고 사용자 지정 모델의 Amazon 리소스 이름(ARN)을 포함합니다.

모델 사용자 지정 작업의 상태를 모니터링하려면 Amazon Bedrock 제어 영역 엔드포인트와 함께 다음 중 modelIdentifier하나인 GetCustomModel (요청 및 응답 형식 및 필드 세부 정보는 링크 참조) 요청을 보냅니다.

  • 모델에 제공한 이름입니다.

  • 모델의 ARN입니다.

GetModelCustomizationJob 또는 GetCustomModel 응답에서 모델 사용자 지정 작업의 trainingMetricsvalidationMetrics를 볼 수 있습니다.

훈련 및 검증 지표 파일을 다운로드하려면 객체 다운로드의 단계를 따르세요. 에서 URI 제공한 S3를 사용합니다outputDataConfig.

코드 예시 보기