停止模型评估作业

以下示例向您展示了如何使用 Amazon Bedrock 控制台和 Boto3 停止模型评估作业 AWS CLI

Amazon Bedrock console

使用以下步骤使用 Amazon Bedrock 控制台创建模型评估任务。要成功完成此过程，请确保您的 IAM 用户、群组或角色具有访问控制台的足够权限。要了解更多信息，请参阅使用 Amazon Bedrock 控制台创建模型评估作业所需的权限。

此外，您要在模型评估任务中指定的任何自定义提示数据集都必须将所需的 CORS 权限添加到 Amazon S3 存储桶。要了解有关添加所需的 CORS 权限的更多信息，对 S3 存储桶的必要跨源资源共享 (CORS) 权限请参阅。

创建使用人类工作人员的模型评估作业

1. 通过以下网址打开 Amazon Bedrock 控制台：https://console.aws.amazon.com/bedrock/

2. 在导航窗格中，选择模型评估。

3. 在建立评估卡的自动下，选择创建自动评估。

4. 在创建自动评估页面上，提供以下信息：

   1. 评估名称 — 为模型评估作业指定一个可描述该作业的名称。此名称将显示在模型评估作业列表中。在您的 AWS 账户 名称中，名称必须是唯一的 AWS 区域。

   2. 描述（可选）— 提供可选描述。

   3. 模型 — 选择要在模型评估作业中使用的模型。

      要详细了解可用模型并在 Amazon Bedrock 中访问它们，请参阅管理对 Amazon Bedrock 基础模型的访问权限。

   4. （可选）要更改推理配置，请选择更新。

      更改推理配置会更改所选模型生成的响应。要了解有关可用推理参数的更多信息，请参阅 根基模型的推理参数。

   5. 任务类型 — 选择您希望模型在模型评估作业期间尝试执行的任务类型。

   6. 指标和数据集 — 可用指标列表和内置提示数据集会根据您选择的任务而变化。您可以从可用的内置数据集列表中进行选择，也可以选择使用您自己的提示数据集。如果您选择使用自己的提示数据集，请输入存储的提示数据集文件的确切 S3 URI，或者选择 Browse S3 搜索您的提示数据集。

   7. 评估结果-指定要保存模型评估任务结果的目录的 S3 URI。选择 “浏览 S3”，在 Amazon S3 中搜索地点。

   8. （可选）要启用客户托管密钥的使用，请选择自定义加密设置（高级）。然后，提供您要使用的 AWS KMS 密钥的 ARN。

   9. Amazon Bedrock IAM 角色 — 选择使用现有角色使用已具有所需权限的 IAM 服务角色，或者选择创建新角色来创建新的 IAM 服务角色，

5. 然后选择 Create。

任务启动后，状态将更改为 “进行中”。状态更改为 “已完成” 后，您可以查看任务的成绩单。

SDK for Python

过程

import boto3
							client = boto3.client('bedrock')

							job_request = client.create_evaluation_job(
							jobName="111122223333-job-01",
							jobDescription="two different task types",
							roleArn="arn:aws:iam::111122223333:role/example-human-eval-api-role",
							inferenceConfig={
							## You must specify an array of models
							"models": [
							{
							"bedrockModel": {
							"modelIdentifier":"arn:aws:bedrock:us-west-2::foundation-model/amazon.titan-text-lite-v1",
							"inferenceParams":"{\"temperature\":\"0.0\", \"topP\":\"1\", \"maxTokenCount\":\"512\"}"
							}

							},
							{
							"bedrockModel": {
							"modelIdentifier": "anthropic.claude-v2",
							"inferenceParams": "{\"temperature\":\"0.25\",\"top_p\":\"0.25\",\"max_tokens_to_sample\":\"256\",\"top_k\":\"1\"}"
							}
							}
							]

							},
							outputDataConfig={
							"s3Uri":"s3://job-bucket/outputs/"
							},
							evaluationConfig={
							"human": {
							"humanWorkflowConfig": {
							"flowDefinitionArn": "arn:aws:sagemaker:us-west-2:111122223333:flow-definition/example-workflow-arn",
							"instructions": "some human eval instruction"
							},
							"customMetrics": [
							{
							"name": "IndividualLikertScale",
							"description": "testing",
							"ratingMethod": "IndividualLikertScale"
							}
							],
							"datasetMetricConfigs": [
							{
							"taskType": "Summarization",
							"dataset": {
							"name": "Custom_Dataset1",
							"datasetLocation": {
							"s3Uri": "s3://job-bucket/custom-datasets/custom-trex.jsonl"
							}
							},
							"metricNames": [
							"IndividualLikertScale"
							]
							}
							]
							}

							}
							)

							print(job_request)

AWS CLI

在中 AWS CLI，您可以使用help命令来查看哪些参数是必需的，以及哪些参数add-something在中指定时是可选的 AWS CLI。

aws bedrock create-evaluation-job help

以下是一个示例请求，该请求将使用启动基于人类的模型评估作业 AWS CLI。

SOMETHINGGGGGGGG GOES HEREEEEEEEEEE