在 Amazon Bedrock 中建立使用 LLM作為判斷條件的第一個模型評估任務

若要建立使用 LLM做為判斷的模型評估任務，您需要存取特定服務層級資源和 Amazon Bedrock 基礎模型。使用連結主題來進一步了解如何設定。

啟動使用判斷模型的模型評估任務所需的服務層級資源

1. 您需要存取至少下列其中一個 Amazon Bedrock 基礎模型。這些是可用的判斷模型。若要進一步了解如何存取模型和區域可用性，請參閱存取 Amazon Bedrock 基礎模型。

   • Mistral Large – mistral.mistral-large-2402-v1:0

   • Anthropic Claude 3.5 Sonnet – anthropic.claude-3-5-sonnet-20240620-v1:0

   • Anthropic Claude 3 Haiku – anthropic.claude-3-haiku-20240307-v1:0:

   • Meta Llama 3.1 70B Instruct – meta.llama3-1-70b-instruct-v1:0

2. 建立提示資料集。您的提示資料集是 json 行 (jsonl) 格式的資料集，其中包含讓模型評估任務成功執行的提示和必要的地面真實資料。如需詳細資訊，請參閱模型評估任務中使用模型做為判斷的自訂提示資料集需求。

3. 若要建立使用LLM判斷的模型評估任務，您需要存取 https://console.aws.amazon.com/bedrock/ AWS Command Line Interface、 或支援的 AWS SDK。若要進一步了解必要的IAM動作和資源，請參閱 建立模型評估任務所需的主控台許可，該任務使用模型作為 Amazon Bedrock 中的判斷。

4. 當模型評估任務開始時，會使用服務角色代表您執行動作。若要進一步了解必要IAM動作和信任政策需求，請參閱 建立使用判斷模型的模型評估任務所需的服務角色許可。

5. Amazon Simple Storage Service – 模型評估任務中指定的任何提示資料集必須放置在 Amazon S3 儲存貯體中。使用 Amazon Bedrock 主控台建立的模型評估任務需要您在儲存貯體上指定正確的CORS許可。如需所需CORS政策許可的詳細資訊，請參閱 S3 儲存貯體上所需的跨來源資源共用 (CORS) 許可。

建立模型評估任務所需的主控台許可，該任務使用模型作為 Amazon Bedrock 中的判斷

下列政策包含 Amazon Bedrock 和 Amazon S3 中使用 Amazon Bedrock 主控台建立自動模型評估任務所需的一組最低IAM動作和資源。

在政策中，我們建議您使用IAMJSON政策元素資源，以限制存取IAM使用者、群組或角色所需的模型和儲存貯體。

IAM 政策必須同時存取產生器和評估器模型。

{
	"Version": "2012-10-17",
	"Statement": [
	    {
	        "Sid": "BedrockConsole",
	        "Effect": "Allow",
	        "Action": [
				"bedrock:CreateEvaluationJob",
				"bedrock:GetEvaluationJob",
				"bedrock:ListEvaluationJobs",
				"bedrock:StopEvaluationJob",
				"bedrock:GetCustomModel",
				"bedrock:ListCustomModels",
				"bedrock:CreateProvisionedModelThroughput",
				"bedrock:UpdateProvisionedModelThroughput",
				"bedrock:GetProvisionedModelThroughput",
				"bedrock:ListProvisionedModelThroughputs",
				"bedrock:GetImportedModel",
				"bedrock:ListImportedModels",
				"bedrock:ListTagsForResource",
				"bedrock:UntagResource",
				"bedrock:TagResource"
	        ],
	        "Resource": [
				"arn:aws:bedrock:us-west-2::foundation-model/model-id-of-foundational-model",
				"arn:aws:bedrock:us-west-2::foundation-model/model-id-of-foundational-model",
			]
	    },
	    {
	        "Sid": "AllowConsoleS3AccessForModelEvaluation",
	        "Effect": "Allow",
	        "Action": [
	          "s3:GetObject",
	          "s3:GetBucketCORS",
	          "s3:ListBucket",
	          "s3:ListBucketVersions",
	          "s3:GetBucketLocation"
	        ],
	        "Resource": [
				"arn:aws:s3:::my_output_bucket",
				"arn:aws:s3:::input_datasets/prompts.jsonl",

			]
	    }
	]
}