停止模型評估工作

下列範例說明如何使用 Amazon 基岩主控台和 Boto3 停止模型評估任務 AWS CLI

Amazon Bedrock console

使用下列程序，使用 Amazon 基岩主控台建立模型評估任務。若要順利完成此程序，請確定您的 IAM 使用者、群組或角色具有足夠的權限來存取主控台。如需進一步了解，請參閱使用 Amazon Bedrock 主控台建立模型評估任務所需的許可權。

此外，您想要在模型評估任務中指定的任何自訂提示資料集，都必須將所需的 CORS 許可新增至 Amazon S3 儲存貯體。若要進一步瞭解如何新增所需 CORS 權限，請參閱，S3 儲存貯體上所需的跨來源資源分享 (CORS) 許可權。

創建使用人工的模型評估工作

1. 開啟 Amazon Bedrock 主控台：https://console.aws.amazon.com/bedrock/

2. 在導覽窗格中，選擇模型評估。

3. 在建立評估卡的自動下方，選擇建立自動評估。

4. 在建立自動評估頁面上，提供下列資訊

   1. 評估名稱 — 為模型評估任務指定一個描述任務的名稱。此名稱會顯示在您的模型評估任務清單中。名稱在中必須是唯一 AWS 帳戶 的 AWS 區域。

   2. 描述 (選用) — 提供選擇性描述。

   3. 模型 — 選擇您要在模型評估任務中使用的模型。

      若要進一步了解可用模型並在 Amazon 基岩中存取這些模型，請參閱。管理對 Amazon 基礎基礎模型的存取

   4. (選用) 若要變更推論組態，請選擇更新。

      變更推論組態會變更所選模型產生的回應。若要進一步了解可用推論參數，請參閱 基礎模型的推論參數。

   5. 任務類型 — 選擇您希望模型在模型評估任務期間嘗試執行的任務類型。

   6. 指標和資料集 — 可用指標和內建提示資料集的清單會根據您選取的任務而變更。您可以從可用的內建資料集清單中做選擇，也可以選擇內建使用您自己的提示資料集。如果您選擇使用自己的提示資料集，請輸入儲存的提示資料集檔案的確切 S3 URI，或選擇瀏覽 S3 搜尋提示資料集。

   7. 評估結果 — 指定要儲存模型評估任務結果之目錄的 S3 URI。選擇瀏覽 S3 以在 Amazon S3 中搜尋位置。

   8. (選擇性) 若要啟用客戶管理金鑰的使用，請選擇 [自訂加密設定 (進階)]。然後，提供您要使用的 AWS KMS 金鑰的 ARN。

   9. Amazon 基岩 IAM 角色 — 選擇「使用現有角色」以使用已具有所需許可的 IAM 服務角色，或選擇「建立新角色」以建立新的 IAM 服務角色。

5. 然後，選擇 Create (建立)。

工作開始後，狀態會變更進行中。狀態變更「已完成」後，您就可以檢視工作的報告卡。

SDK for Python

程序

import boto3
							client = boto3.client('bedrock')

							job_request = client.create_evaluation_job(
							jobName="111122223333-job-01",
							jobDescription="two different task types",
							roleArn="arn:aws:iam::111122223333:role/example-human-eval-api-role",
							inferenceConfig={
							## You must specify an array of models
							"models": [
							{
							"bedrockModel": {
							"modelIdentifier":"arn:aws:bedrock:us-west-2::foundation-model/amazon.titan-text-lite-v1",
							"inferenceParams":"{\"temperature\":\"0.0\", \"topP\":\"1\", \"maxTokenCount\":\"512\"}"
							}

							},
							{
							"bedrockModel": {
							"modelIdentifier": "anthropic.claude-v2",
							"inferenceParams": "{\"temperature\":\"0.25\",\"top_p\":\"0.25\",\"max_tokens_to_sample\":\"256\",\"top_k\":\"1\"}"
							}
							}
							]

							},
							outputDataConfig={
							"s3Uri":"s3://job-bucket/outputs/"
							},
							evaluationConfig={
							"human": {
							"humanWorkflowConfig": {
							"flowDefinitionArn": "arn:aws:sagemaker:us-west-2:111122223333:flow-definition/example-workflow-arn",
							"instructions": "some human eval instruction"
							},
							"customMetrics": [
							{
							"name": "IndividualLikertScale",
							"description": "testing",
							"ratingMethod": "IndividualLikertScale"
							}
							],
							"datasetMetricConfigs": [
							{
							"taskType": "Summarization",
							"dataset": {
							"name": "Custom_Dataset1",
							"datasetLocation": {
							"s3Uri": "s3://job-bucket/custom-datasets/custom-trex.jsonl"
							}
							},
							"metricNames": [
							"IndividualLikertScale"
							]
							}
							]
							}

							}
							)

							print(job_request)

AWS CLI

在中 AWS CLI，您可以使用指help令來查看需要哪些參數，以及add-something在中指定時，哪些參數是選用的 AWS CLI。

aws bedrock create-evaluation-job help

以下是將使用啟動以人為基礎的模型評估工作的範例請求 AWS CLI。

SOMETHINGGGGGGGG GOES HEREEEEEEEEEE