在 Amazon Bedrock 中建立使用 LLM 作為判斷的第一個模型評估任務

若要建立使用 LLM 做為判斷的模型評估任務，您需要存取特定服務層級資源和 Amazon Bedrock 基礎模型。使用連結主題來進一步了解如何設定。

啟動使用判斷模型的模型評估任務所需的服務層級資源

1. 您需要存取下列至少一個 Amazon Bedrock 基礎模型。這些是可用的判斷模型。若要進一步了解如何存取模型和區域可用性，請參閱 存取 Amazon Bedrock 基礎模型。

   • Mistral Large – mistral.mistral-large-2402-v1:0

   • Anthropic Claude 3.5 Sonnet – anthropic.claude-3-5-sonnet-20240620-v1:0

   • Anthropic Claude 3 Haiku – anthropic.claude-3-haiku-20240307-v1:0:

   • Meta Llama 3.1 70B Instruct – meta.llama3-1-70b-instruct-v1:0

2. 建立提示資料集。您的提示資料集是 json 行 (jsonl) 格式的資料集，其中包含提示和必要的 Ground Truth 資料，模型評估任務才能成功執行。如需詳細資訊，請參閱為使用模型做為判斷的模型評估任務建立自訂提示資料集。

3. 若要建立使用 LLM 判斷器的模型評估任務 AWS Command Line Interface，您需要存取 https://console.aws.amazon.com/bedrock/：//www.microsoft.com/soft.com/soft.com/soft.com/soft.com/soft.com/ AWS soft. 若要進一步了解必要的 IAM 動作和資源，請參閱 建立模型評估任務所需的主控台許可，該任務使用模型作為 Amazon Bedrock 中的判斷。

4. 當模型評估任務開始時，服務角色會用來代表您執行動作。若要進一步了解必要的 IAM 動作和信任政策需求，請參閱 建立使用判斷模型的模型評估任務所需的服務角色許可。

5. Amazon Simple Storage Service – 模型評估任務中指定的任何提示資料集都必須放置在 Amazon S3 儲存貯體中。使用 Amazon Bedrock 主控台建立的模型評估任務需要您在儲存貯體上指定正確的 CORS 許可。如需所需 CORS 政策許可的詳細資訊，請參閱 S3 儲存貯體上所需的跨來源資源共享 (CORS) 許可。

建立模型評估任務所需的主控台許可，該任務使用模型作為 Amazon Bedrock 中的判斷

下列政策包含 Amazon Bedrock 和 Amazon S3 中使用 Amazon Bedrock 主控台建立自動模型評估任務所需的一組最小 IAM 動作和資源。

在政策中，我們建議使用 IAM JSON 政策元素資源來限制存取 IAM 使用者、群組或角色所需的模型和儲存貯體。

IAM 政策必須同時存取產生器和評估器模型。

{
	"Version": "2012-10-17",
	"Statement": [
	    {
	        "Sid": "BedrockConsole",
	        "Effect": "Allow",
	        "Action": [
				"bedrock:CreateEvaluationJob",
				"bedrock:GetEvaluationJob",
				"bedrock:ListEvaluationJobs",
				"bedrock:StopEvaluationJob",
				"bedrock:GetCustomModel",
				"bedrock:ListCustomModels",
				"bedrock:CreateProvisionedModelThroughput",
				"bedrock:UpdateProvisionedModelThroughput",
				"bedrock:GetProvisionedModelThroughput",
				"bedrock:ListProvisionedModelThroughputs",
				"bedrock:GetImportedModel",
				"bedrock:ListImportedModels",
				"bedrock:ListTagsForResource",
				"bedrock:UntagResource",
				"bedrock:TagResource"
	        ],
	        "Resource": [
				"arn:aws:bedrock:us-west-2::foundation-model/*;",
			]
	    },
	    {
	        "Sid": "AllowConsoleS3AccessForModelEvaluation",
	        "Effect": "Allow",
	        "Action": [
	          "s3:GetObject",
	          "s3:GetBucketCORS",
	          "s3:ListBucket",
	          "s3:ListBucketVersions",
	          "s3:GetBucketLocation"
	        ],
	        "Resource": [
				"arn:aws:s3:::amzn-s3-demo-destination-bucket/*",
				"arn:aws:s3:::input_datasets/prompts.jsonl"

			]
	    }
	]
}

注意

此範例政策提供所有 Amazon Bedrock 基礎模型的許可。在生產環境中，我們重申您遵循最低權限的主體，並僅授予所需模型的許可。