バッチ推論ジョブを作成する

注記

バッチ推論は現在プレビューにつき、今後変更される可能性があります。バッチ推論は現在 API を通じてのみ利用できます。バッチ API には次の SDK からアクセスします。

• AWS SDK for Python

• AWS SDK for Java

SDK を使用する仮想環境を作成することをお勧めします。バッチ推論 APIs は最新の SDKsAPIsをアンインストールすることをお勧めします。ガイド付きの例については、「」を参照してくださいコードサンプル。

Request format

POST /model-invocation-job HTTP/1.1
Content-type: application/json

{
   "clientRequestToken": "string",
   "inputDataConfig": { 
        "s3InputDataConfig": { 
            "s3Uri": "string",
            "s3InputFormat": "JSONL"
        }
   },
   "jobName": "string",
   "modelId": "string",
   "outputDataConfig": {
        "s3OutputDataConfig": {
            "s3Uri": "string"
        }
   },
   "roleArn": "string",
   "tags": [ 
      { 
         "key": "string",
         "value": "string"
      }
   ]
}

Response format

HTTP/1.1 200
Content-type: application/json

{
   "jobArn": "string"
}

バッチ推論ジョブを作成するには、CreateModelInvocationJob リクエストを送信します。以下の情報を指定します。

• roleArn でバッチ推論を実行するアクセス許可を持つロールの ARN。

• inputDataConfig に入力データを含む S3 バケットと outputDataConfig に情報を書き込むバケットの情報。

• modelId での推論に使用するモデルの ID (「Amazon Bedrock ベースモデル IDs (オンデマンドスループット） 」を参照)。

• jobName でのオブの名前。

• (オプション) tags でジョブにアタッチする任意のタグ。

レスポンスから jobArn が返されるので、これを他のバッチ推論関連の API コールに使用できます。

ジョブの status は、GetModelInvocationJob または ListModelInvocationJobs API で確認できます。

ジョブが Completed のとき、outputDataConfig のリクエストで指定した S3 バケット内のファイルから、バッチ推論ジョブの結果を抽出できます。S3 バケットには以下のファイルが含まれています。

1. モデル推論の結果を含む出力ファイル。

   • 出力がテキストの場合、Amazon Bedrock は入力 JSONL ファイルごとに出力 JSONL ファイルを生成します。出力ファイルには、各入力のモデルからの出力が次の形式で含まれます。推論でエラーが発生した行の modelOutput フィールドは error オブジェクトに置き換わります。modelOutput JSON オブジェクトの形式は、InvokeModel レスポンスで使用するモデルの body フィールドと一致する必要があります。詳細については、「基盤モデルの推論パラメータ」を参照してください。

     { "recordId" : "11 character alphanumeric string", "modelInput": {JSON body}, "modelOutput": {JSON body} }

     次の例は、可能な出力ファイルを示しています。

     { "recordId" : "3223593EFGH", "modelInput" : {"inputText": "Roses are red, violets are"}, "modelOutput" : {'inputTextTokenCount': 8, 'results': [{'tokenCount': 3, 'outputText': 'blue\n', 'completionReason': 'FINISH'}]}}
     { "recordId" : "1223213ABCD", "modelInput" : {"inputText": "Hello world"}, "error" : {"errorCode" : 400, "errorMessage" : "bad request" }}

   • 出力がイメージの場合、Amazon Bedrock はイメージごとにファイルを生成します。

2. バッチ推論ジョブの要約を含む manifest.json.out ファイル。

   {
       "processedRecordCount" : number,
       "successRecordCount": number,
       "errorRecordCount": number,
       "inputTextTokenCount": number, // For embedding/text to text models
       "outputTextTokenCount" : number, // For text to text models 
       "outputImgCount512x512pStep50": number, // For text to image models 
       "outputImgCount512x512pStep150" : number, // For text to image models 
       "outputImgCount512x896pStep50" : number, // For text to image models 
       "outputImgCount512x896pStep150" : number // For text to image models 
   }