建立批次推論任務 - Amazon Bedrock

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

建立批次推論任務

在您設定 Amazon S3 儲存貯體以執行模型推論的檔案之後,您可以建立批次推論任務。若要瞭解如何建立批次推論工作,請選取與您選擇方法相對應的索引標籤,然後依照下列步驟操作。

Console
建立批次推論工作
  1. 登入 AWS Management Console 使用具有 Amazon 基岩許可的IAM角色,並在以下位置打開 Amazon 基岩控制台。https://console.aws.amazon.com/bedrock/

  2. 在左側導覽窗格中,選取 Batch 推論

  3. 在「Batch 推論工作」區段中,選擇「建立工作」。

  4. 在 [Job 詳細資料] 區段中,為批次推論 Job 指定一個工作名稱,然後選擇 [選取模型] 來選取批次推論工作使用的模型。

  5. 在「輸入資料」區段中,選擇瀏覽 S3,然後選取包含批次推論工作之檔案的 S3 位置。檢查檔案是否符合中所述的格式格式化並上傳您的推論資料

  6. 在「輸出資料」區段中,選擇「瀏覽 S3」,然後選取 S3 位置,以存放批次推論任務中的輸出檔案。默認情況下,輸出數據將由 AWS 受管金鑰。 若要選擇自訂KMS金鑰,請選取 [自訂加密設定 (進階)],然後選擇金鑰。如需 Amazon 基岩資料加密和設定自訂KMS金鑰的詳細資訊,請參閱。資料加密

  7. 在「服務存取」區段中,選取下列其中一個選項:

    • 使用現有服務角色 — 從下拉式清單中選取服務角色。如需有關使用適當許可權設定自訂角色的詳細資訊,請參閱 批次推論所需的權限

    • 建立並使用新的服務角色 — 輸入服務角色的名稱。

  8. (選擇性) 若要將標籤與批次推論工作產生關聯,請展開「標」區段,然後為每個標籤新增索引鍵和選用值。如需詳細資訊,請參閱使用標籤管理資源

  9. 選擇 Create batch inference job (建立批次推論任務)

API

若要建立批次推論任務,請使用 Amazon 基岩控制平面端點傳送請CreateModelInvocationJob求 (請參閱請求和回應格式以及欄位詳細資訊連結)。

下列是必要欄位:

欄位 使用案例
jobName 指定工作的名稱。
roleArn 指定具有建立和管理任務權限的服務角色的 Amazon 資源名稱 (ARN)。如需詳細資訊,請參閱建立批次推論的服務角色
modelId 指定要在推論中使用的模型 ID 或ARN。
inputDataConfig 指定包含要提交至工作的提示和組態的 S3 位置。如需詳細資訊,請參閱格式化並上傳您的推論資料
outputDataConfig 指定要將模型回應寫入的 S3 位置。

下列欄位為選擇性欄位:

欄位 使用案例
timeoutDurationIn小時 若要指定工作逾時之後的持續時間 (以小時為單位)。
標籤 指定與工作相關聯的任何標籤。如需詳細資訊,請參閱使用標籤管理資源
clientRequestToken 識別碼,以確保API請求只完成一次

回應會傳回一jobArn個,讓您在執行其他批次推論相API關呼叫時可用來參照工作。