選取您的 Cookie 偏好設定

我們使用提供自身網站和服務所需的基本 Cookie 和類似工具。我們使用效能 Cookie 收集匿名統計資料,以便了解客戶如何使用我們的網站並進行改進。基本 Cookie 無法停用,但可以按一下「自訂」或「拒絕」以拒絕效能 Cookie。

如果您同意,AWS 與經核准的第三方也會使用 Cookie 提供實用的網站功能、記住您的偏好設定,並顯示相關內容,包括相關廣告。若要接受或拒絕所有非必要 Cookie,請按一下「接受」或「拒絕」。若要進行更詳細的選擇,請按一下「自訂」。

在 Amazon Bedrock 中建立使用 LLM作為判斷條件的第一個模型評估任務

焦點模式
在 Amazon Bedrock 中建立使用 LLM作為判斷條件的第一個模型評估任務 - Amazon Bedrock

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

若要建立使用 LLM做為判斷的模型評估任務,您需要存取特定服務層級資源和 Amazon Bedrock 基礎模型。使用連結主題來進一步了解如何設定。

啟動使用判斷模型的模型評估任務所需的服務層級資源
  1. 您需要存取至少下列其中一個 Amazon Bedrock 基礎模型。這些是可用的判斷模型。若要進一步了解如何存取模型和區域可用性,請參閱存取 Amazon Bedrock 基礎模型

    • Mistral Large – mistral.mistral-large-2402-v1:0

    • Anthropic Claude 3.5 Sonnet – anthropic.claude-3-5-sonnet-20240620-v1:0

    • Anthropic Claude 3 Haiku – anthropic.claude-3-haiku-20240307-v1:0:

    • Meta Llama 3.1 70B Instruct – meta.llama3-1-70b-instruct-v1:0

  2. 建立提示資料集。您的提示資料集是 json 行 (jsonl) 格式的資料集,其中包含讓模型評估任務成功執行的提示和必要的地面真實資料。如需詳細資訊,請參閱模型評估任務中使用模型做為判斷的自訂提示資料集需求

  3. 若要建立使用LLM判斷的模型評估任務,您需要存取 https://console.aws.amazon.com/bedrock/ AWS Command Line Interface、 或支援的 AWS SDK。若要進一步了解必要的IAM動作和資源,請參閱 建立模型評估任務所需的主控台許可,該任務使用模型作為 Amazon Bedrock 中的判斷

  4. 當模型評估任務開始時,會使用服務角色代表您執行動作。若要進一步了解必要IAM動作和信任政策需求,請參閱 建立使用判斷模型的模型評估任務所需的服務角色許可

  5. Amazon Simple Storage Service – 模型評估任務中指定的任何提示資料集必須放置在 Amazon S3 儲存貯體中。使用 Amazon Bedrock 主控台建立的模型評估任務需要您在儲存貯體上指定正確的CORS許可。如需所需CORS政策許可的詳細資訊,請參閱 S3 儲存貯體上所需的跨來源資源共用 (CORS) 許可

建立模型評估任務所需的主控台許可,該任務使用模型作為 Amazon Bedrock 中的判斷

下列政策包含 Amazon Bedrock 和 Amazon S3 中使用 Amazon Bedrock 主控台建立自動模型評估任務所需的一組最低IAM動作和資源。

在政策中,我們建議您使用IAMJSON政策元素資源,以限制存取IAM使用者、群組或角色所需的模型和儲存貯體。

IAM 政策必須同時存取產生器評估器模型。

{ "Version": "2012-10-17", "Statement": [ { "Sid": "BedrockConsole", "Effect": "Allow", "Action": [ "bedrock:CreateEvaluationJob", "bedrock:GetEvaluationJob", "bedrock:ListEvaluationJobs", "bedrock:StopEvaluationJob", "bedrock:GetCustomModel", "bedrock:ListCustomModels", "bedrock:CreateProvisionedModelThroughput", "bedrock:UpdateProvisionedModelThroughput", "bedrock:GetProvisionedModelThroughput", "bedrock:ListProvisionedModelThroughputs", "bedrock:GetImportedModel", "bedrock:ListImportedModels", "bedrock:ListTagsForResource", "bedrock:UntagResource", "bedrock:TagResource" ], "Resource": [ "arn:aws:bedrock:us-west-2::foundation-model/model-id-of-foundational-model", "arn:aws:bedrock:us-west-2::foundation-model/model-id-of-foundational-model", ] }, { "Sid": "AllowConsoleS3AccessForModelEvaluation", "Effect": "Allow", "Action": [ "s3:GetObject", "s3:GetBucketCORS", "s3:ListBucket", "s3:ListBucketVersions", "s3:GetBucketLocation" ], "Resource": [ "arn:aws:s3:::my_output_bucket", "arn:aws:s3:::input_datasets/prompts.jsonl", ] } ] }
隱私權網站條款Cookie 偏好設定
© 2025, Amazon Web Services, Inc.或其附屬公司。保留所有權利。