本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。
執行批次推論
注意
批次推論為預覽版,可能會有所變更。批次推論目前只能透過 API 使用。透過下列 SDK 存取批次 API。
我們建議您建立虛擬環境以使用 SDK。由於最新的 SDK 中無法使用批次推論 API,因此建議您先從虛擬環境中解除安裝最新版本的 SDK,然後再使用批次推論 API 安裝版本。如需引導範例,請參閱程式碼範例。
透過批次推論,您可以非同步執行多個推論請求,而透過對存放在 S3 儲存貯體中的資料執行推論,可以有效率地處理大量請求。您可以使用批次推論來改善大型資料集上模型推論的效能。
注意
已佈建模型不支援 Batch 推論。
若要查看批次推論的配額,請參閱 批次推論配額。
Amazon Bedrock 支援下列模式的批次推論。
-
文字轉內嵌項目
-
文字轉文字
-
文字轉影像
-
影像到影像
-
圖像嵌入
您可以將資料存放在 Amazon S3 儲存貯體中,以準備進行批次推論。然後,您可以使用 ModelInvocationJob
API 來執行和管理批次推論任務。
在執行批次推論之前,您必須先獲得呼叫批次推論 API 的許可。然後,您可以設定 IAM Amazon Bedrock 服務角色,以獲得執行批次推論任務的許可。
您可以下載並安裝下列其中一個 AWS SDK 套件,以使用批次推論 API。