バッチ推論データのフォーマットとアップロード

バッチ推論の入力を準備するには、次の形式で .jsonl ファイルを作成します。

{ "recordId" : "11 character alphanumeric string", "modelInput" : {JSON body} }
...

各行には、 recordId フィールドを含むJSONオブジェクトと、送信する入力のリクエスト本文を含む modelInputフィールドが含まれます。modelInput JSON オブジェクトの形式は、InvokeModelリクエストで使用するモデルの bodyフィールドと一致する必要があります。詳細については、「基盤モデルの推論リクエストパラメータとレスポンスフィールド」を参照してください。

注記

recordId フィールドを省略すると、Amazon Bedrock はそれを出力に追加します。

例えば、 を使用してバッチ推論を実行する場合は、次の行を含むJSONLファイルを指定することができます。Anthropic Claude 3 Haiku モデル：

{
    "recordId": "CALL0000001", 
    "modelInput": {
        "anthropic_version": "bedrock-2023-05-31", 
        "max_tokens": 1024,
        "messages": [ 
            { 
                "role": "user", 
                "content": [
                    {
                        "type": "text", 
                        "text": "Summarize the following call transcript: ..." 
                    } 
                ]
            }
        ]
    }
}

入力ファイルを準備したら、S3 バケットにアップロードします。バッチ推論サービスロールに次のアクセス許可をアタッチして置き換える ${{s3-bucket-input}} 入力ファイルを および にアップロードしたバケット ${{s3-bucket-output}} 出力ファイルを書き込むバケット。

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "s3:GetObject",
                "s3:PutObject",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::${{s3-bucket-input}}", 
                "arn:aws:s3:::${{s3-bucket-input}}/*",
                "arn:aws:s3:::${{s3-bucket-output}}",
                "arn:aws:s3:::${{s3-bucket-output}}/*"
            ],
            "Effect": "Allow"
        }
    ]
}