バッチ推論データをフォーマットしてアップロードする - Amazon Bedrock
AnthropicClaude 3 Haiku のテキスト入力の例Amazon Nova のビデオ入力の例

バッチ推論データをフォーマットしてアップロードする

モデル呼び出しジョブを送信するときに選択または指定する S3 の場所にバッチ推論データを追加する必要があります。S3 の場所には、次の項目が含まれている必要があります。

  • モデル入力を定義する少なくとも 1 つの JSONL ファイル。JSONL には JSON オブジェクトの行が含まれています。JSONL ファイルは拡張子 .jsonl で終わり、次の形式である必要があります。

    { "recordId" : "alphanumeric string", "modelInput" : {JSON body} }
...

    各行には、recordId フィールドを含む JSON オブジェクトと、送信する入力のリクエスト本文を含む modelInput フィールドが含まれます。modelInput JSON オブジェクトの形式は、InvokeModel リクエストで使用するモデルの body フィールドと一致する必要があります。詳細については、「Inference request parameters and response fields for foundation models」を参照してください。

    注記

    • recordId フィールドを省略すると、Amazon Bedrock はそのフィールドを出力に追加します。

    • 出力 JSONL ファイルのレコードの順序が入力 JSONL ファイルのレコードの順序と一致するとは限りません。

    • バッチ推論ジョブを作成するときに使用するモデルを指定します。

  • (Amazon S3 の場所として入力コンテンツを定義する場合) 一部のモデルでは、入力のコンテンツを S3 の場所として定義できます。このオプションを選択した場合は、指定する S3 の場所にコンテンツと JSONL ファイルの両方が含まれていることを確認します。コンテンツと JSONL ファイルは、指定した S3 の場所にあるフォルダにネストできます。例については、Amazon Nova のビデオ入力の例を参照してください。

入力がバッチ推論クォータに準拠していることを確認します。「Amazon Bedrock のサービスクォータ」で、次のクォータを検索できます。

  • バッチ推論ジョブごとのレコードの最小数 – ジョブ内の JSONL ファイル全体におけるレコード (JSON オブジェクト) の最小数。

  • バッチ推論ジョブごとの入力ファイルあたりのレコード – ジョブ内の 1 つの JSONL ファイルにおけるレコード (JSON オブジェクト) の最大数。

  • バッチ推論ジョブごとのレコード – ジョブ内の JSONL ファイル全体におけるレコード (JSON オブジェクト) の最大数。

  • バッチ推論入力ファイルのサイズ – ジョブ内の 1 つのファイルの最大サイズ。

  • バッチ推論ジョブのサイズ – すべての入力ファイルの最大累積サイズ。

バッチ推論入力の設定方法に関する理解を深めるには、以下の例を参照してください。

AnthropicClaude 3 Haiku のテキスト入力の例

Anthropic Claude 3 Haiku モデルの Messages API 形式を使用してバッチ推論を実行する場合は、次の JSON オブジェクトを含む JSONL ファイルを行の 1 つとして指定できます。

{
    "recordId": "CALL0000001", 
    "modelInput": {
        "anthropic_version": "bedrock-2023-05-31", 
        "max_tokens": 1024,
        "messages": [ 
            { 
                "role": "user", 
                "content": [
                    {
                        "type": "text", 
                        "text": "Summarize the following call transcript: ..." 
                    } 
                ]
            }
        ]
    }
}

Amazon Nova のビデオ入力の例

Amazon Nova Lite または Amazon Nova Pro モデルを使用してビデオ入力でバッチ推論を実行する場合は、ビデオをバイト単位で定義するか、JSONL ファイル内の S3 の場所として定義するかを選択できます。例えば、パスが s3://batch-inference-input-bucket で、次のファイルが含まれている S3 バケットがあるとします。

videos/
    video1.mp4
    video2.mp4
    ...
    video50.mp4
input.jsonl

input.jsonl ファイルのサンプルレコードは次のようになります。

{
    "recordId": "RECORD01",
    "modelInput": {
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "text": "You are an expert in recipe videos. Describe this video in less than 200 words following these guidelines: ..."
                    },
                    {
                        "video": {
                            "format": "mp4",
                            "source": {
                                "s3Location": {
                                    "uri": "s3://batch-inference-input-bucket/videos/video1.mp4",
                                    "bucketOwner": "111122223333"
                                }
                            }
                        }
                    }
                ]
            }
        ]
    }
}

バッチ推論ジョブを作成するときに、s3://batch-inference-input-bucket を S3 の場所として指定できます。バッチ推論では、JSONL ファイルで参照される videos フォルダ内のビデオファイルに加えて、この場所にある input.jsonl ファイルが処理されます。

以下のリソースでは、バッチ推論用のビデオ入力の送信について詳しく説明しています。

次のトピックでは、アイデンティティがバッチ推論を実行できるように S3 へのアクセスとバッチ推論のアクセス許可を設定する方法について説明します。