本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
若要建立使用 LLM做為判斷的模型評估任務,您需要存取特定服務層級資源和 Amazon Bedrock 基礎模型。使用連結主題來進一步了解如何設定。
啟動使用判斷模型的模型評估任務所需的服務層級資源
-
您需要存取至少下列其中一個 Amazon Bedrock 基礎模型。這些是可用的判斷模型。若要進一步了解如何存取模型和區域可用性,請參閱存取 Amazon Bedrock 基礎模型。
-
Mistral Large –
mistral.mistral-large-2402-v1:0
-
Anthropic Claude 3.5 Sonnet –
anthropic.claude-3-5-sonnet-20240620-v1:0
-
Anthropic Claude 3 Haiku –
anthropic.claude-3-haiku-20240307-v1:0:
-
Meta Llama 3.1 70B Instruct –
meta.llama3-1-70b-instruct-v1:0
-
-
建立提示資料集。您的提示資料集是 json 行 (
jsonl
) 格式的資料集,其中包含讓模型評估任務成功執行的提示和必要的地面真實資料。如需詳細資訊,請參閱模型評估任務中使用模型做為判斷的自訂提示資料集需求。 -
若要建立使用LLM判斷的模型評估任務,您需要存取 https://console.aws.amazon.com/bedrock/
AWS Command Line Interface、 或支援的 AWS SDK。若要進一步了解必要的IAM動作和資源,請參閱 建立模型評估任務所需的主控台許可,該任務使用模型作為 Amazon Bedrock 中的判斷。 -
當模型評估任務開始時,會使用服務角色代表您執行動作。若要進一步了解必要IAM動作和信任政策需求,請參閱 建立使用判斷模型的模型評估任務所需的服務角色許可。
-
Amazon Simple Storage Service – 模型評估任務中指定的任何提示資料集必須放置在 Amazon S3 儲存貯體中。使用 Amazon Bedrock 主控台建立的模型評估任務需要您在儲存貯體上指定正確的CORS許可。如需所需CORS政策許可的詳細資訊,請參閱 S3 儲存貯體上所需的跨來源資源共用 (CORS) 許可。
建立模型評估任務所需的主控台許可,該任務使用模型作為 Amazon Bedrock 中的判斷
下列政策包含 Amazon Bedrock 和 Amazon S3 中使用 Amazon Bedrock 主控台建立自動模型評估任務所需的一組最低IAM動作和資源。
在政策中,我們建議您使用IAMJSON政策元素資源,以限制存取IAM使用者、群組或角色所需的模型和儲存貯體。
IAM 政策必須同時存取產生器和評估器模型。
{
"Version": "2012-10-17",
"Statement": [
{
"Sid": "BedrockConsole",
"Effect": "Allow",
"Action": [
"bedrock:CreateEvaluationJob",
"bedrock:GetEvaluationJob",
"bedrock:ListEvaluationJobs",
"bedrock:StopEvaluationJob",
"bedrock:GetCustomModel",
"bedrock:ListCustomModels",
"bedrock:CreateProvisionedModelThroughput",
"bedrock:UpdateProvisionedModelThroughput",
"bedrock:GetProvisionedModelThroughput",
"bedrock:ListProvisionedModelThroughputs",
"bedrock:GetImportedModel",
"bedrock:ListImportedModels",
"bedrock:ListTagsForResource",
"bedrock:UntagResource",
"bedrock:TagResource"
],
"Resource": [
"arn:aws:bedrock:us-west-2
::foundation-model/model-id-of-foundational-model
",
"arn:aws:bedrock:us-west-2
::foundation-model/model-id-of-foundational-model
",
]
},
{
"Sid": "AllowConsoleS3AccessForModelEvaluation",
"Effect": "Allow",
"Action": [
"s3:GetObject",
"s3:GetBucketCORS",
"s3:ListBucket",
"s3:ListBucketVersions",
"s3:GetBucketLocation"
],
"Resource": [
"arn:aws:s3:::my_output_bucket
",
"arn:aws:s3:::input_datasets/prompts.jsonl
",
]
}
]
}