모델 평가 작업 중지

다음 예는 Amazon Bedrock 콘솔 및 Boto3를 사용하여 모델 평가 작업을 중지하는 방법을 보여줍니다. AWS CLI

Amazon Bedrock console

Amazon Bedrock 콘솔을 사용하여 모델 평가 작업을 생성하려면 다음 절차를 사용하십시오. 이 절차를 성공적으로 완료하려면 IAM 사용자, 그룹 또는 역할에 콘솔에 액세스할 수 있는 충분한 권한이 있어야 합니다. 자세한 내용은 Amazon Bedrock 콘솔을 사용하여 모델 평가 작업을 생성하는 데 필요한 권한 섹션을 참조하세요.

또한 모델 평가 작업에서 지정하려는 모든 사용자 지정 프롬프트 데이터 세트에는 Amazon S3 버킷에 필요한 CORS 권한이 추가되어야 합니다. 필수 CORS 권한 추가에 대한 자세한 내용은, 을 참조하십시오. S3 버킷에 대한 필수 Cross Origin Resource Sharing(CORS) 권한

인간 작업자를 사용하는 모델 평가 작업 생성하기

1. https://console.aws.amazon.com/bedrock/에서 Amazon Bedrock 콘솔을 엽니다.

2. 탐색 창에서 모델 평가를 선택합니다.

3. 평가 작성하기 카드의 자동에서 자동 평가 생성을 선택합니다.

4. 자동 평가 생성 페이지에서 다음 정보를 입력합니다.

   1. 평가 이름 - 모델 평가 작업에 작업을 설명하는 이름을 지정합니다. 이 이름이 모델 평가 작업 목록에 표시됩니다. 이름은 AWS 계정 AWS 리전 an에서 고유해야 합니다.

   2. 설명(선택 사항) - 필요에 따라 설명을 입력합니다.

   3. 모델 - 모델 평가 작업에 사용하려는 모델을 선택합니다.

      Amazon Bedrock에서 사용 가능한 모델 및 해당 모델에 액세스하는 방법에 대해 자세히 알아보려면 을 참조하십시오. Amazon 베드락 기반 모델에 대한 액세스 관리

   4. (선택 사항) 추론 구성을 변경하려면 업데이트를 선택합니다.

      추론 구성을 변경하면 선택한 모델에서 생성된 응답이 변경됩니다. 사용 가능한 추론 파라미터에 대한 자세한 내용은 파운데이션 모델의 추론 파라미터 섹션을 참조하세요.

   5. 작업 유형 - 모델 평가 작업 중에 모델이 수행하려고 시도할 작업 유형을 선택합니다.

   6. 지표 및 데이터 세트 - 사용 가능한 지표 및 내장형 프롬프트 데이터 세트 목록은 선택한 작업에 따라 달라집니다. 사용 가능한 기본 제공 데이터 세트 목록에서 선택하거나 자체 프롬프트 데이터 세트 사용을 선택할 수 있습니다. 자체 프롬프트 데이터세트를 사용하기로 선택한 경우 저장된 프롬프트 데이터세트 파일의 정확한 S3 URI를 입력하거나 Browse S3를 선택하여 프롬프트 데이터 세트를 검색하십시오.

   7. 평가 결과 - 모델 평가 작업의 결과를 저장하려는 디렉터리의 S3 URI를 지정합니다. Amazon S3에서 위치를 검색하려면 [S3 찾아보기] 를 선택합니다.

   8. (선택 사항) 고객 관리 키를 사용할 수 있게 하려면 암호화 설정 사용자 지정 (고급) 을 선택합니다. 그런 다음 사용하려는 AWS KMS 키의 ARN을 입력합니다.

   9. Amazon Bedrock IAM 역할 — 이미 필요한 권한이 있는 IAM 서비스 역할을 사용하려면 기존 역할 사용을 선택하거나 새 역할 생성을 선택하여 새 IAM 서비스 역할을 생성합니다.

5. 그다음에 생성을 선택합니다.

작업이 시작되면 상태가 진행 중으로 바뀝니다. 상태가 완료됨으로 변경되면 해당 작업의 보고서 카드를 볼 수 있습니다.

SDK for Python

절차

import boto3
							client = boto3.client('bedrock')

							job_request = client.create_evaluation_job(
							jobName="111122223333-job-01",
							jobDescription="two different task types",
							roleArn="arn:aws:iam::111122223333:role/example-human-eval-api-role",
							inferenceConfig={
							## You must specify an array of models
							"models": [
							{
							"bedrockModel": {
							"modelIdentifier":"arn:aws:bedrock:us-west-2::foundation-model/amazon.titan-text-lite-v1",
							"inferenceParams":"{\"temperature\":\"0.0\", \"topP\":\"1\", \"maxTokenCount\":\"512\"}"
							}

							},
							{
							"bedrockModel": {
							"modelIdentifier": "anthropic.claude-v2",
							"inferenceParams": "{\"temperature\":\"0.25\",\"top_p\":\"0.25\",\"max_tokens_to_sample\":\"256\",\"top_k\":\"1\"}"
							}
							}
							]

							},
							outputDataConfig={
							"s3Uri":"s3://job-bucket/outputs/"
							},
							evaluationConfig={
							"human": {
							"humanWorkflowConfig": {
							"flowDefinitionArn": "arn:aws:sagemaker:us-west-2:111122223333:flow-definition/example-workflow-arn",
							"instructions": "some human eval instruction"
							},
							"customMetrics": [
							{
							"name": "IndividualLikertScale",
							"description": "testing",
							"ratingMethod": "IndividualLikertScale"
							}
							],
							"datasetMetricConfigs": [
							{
							"taskType": "Summarization",
							"dataset": {
							"name": "Custom_Dataset1",
							"datasetLocation": {
							"s3Uri": "s3://job-bucket/custom-datasets/custom-trex.jsonl"
							}
							},
							"metricNames": [
							"IndividualLikertScale"
							]
							}
							]
							}

							}
							)

							print(job_request)

AWS CLI

에서는 help 명령을 사용하여 필수 매개 변수와 add-something 에서 지정할 때 선택 사항인 매개 변수를 확인할 수 AWS CLI있습니다. AWS CLI

aws bedrock create-evaluation-job help

다음은 를 사용하여 인간 기반 모델 평가 작업을 시작하는 요청 예제입니다 AWS CLI.

SOMETHINGGGGGGGG GOES HEREEEEEEEEEE