Format dan unggah data inferensi Anda

Untuk menyiapkan input untuk inferensi batch, buat file.jsonl dalam format berikut:

{ "recordId" : "11 character alphanumeric string", "modelInput" : {JSON body} }
...

Setiap baris berisi JSON objek dengan recordId bidang dan modelInput bidang yang berisi badan permintaan untuk masukan yang ingin Anda kirimkan. Format modelInput JSON objek harus sesuai dengan body bidang untuk model yang Anda gunakan dalam InvokeModel permintaan. Untuk informasi selengkapnya, lihat Parameter inferensi untuk model pondasi.

catatan

Jika Anda menghilangkan recordId bidang, Amazon Bedrock menambahkannya di output.

Misalnya, Anda mungkin memberikan JSONL file yang berisi baris berikut jika Anda berencana untuk menjalankan inferensi batch menggunakan Anthropic Claude 3 Haiku model:

{
    "recordId": "CALL0000001", 
    "modelInput": {
        "anthropic_version": "bedrock-2023-05-31", 
        "max_tokens": 1024,
        "messages": [ 
            { 
                "role": "user", 
                "content": [
                    {
                        "type": "text", 
                        "text": "Summarize the following call transcript: ..." 
                    } 
                ]
            }
        ]
    }
}

Setelah mengunggah file input Anda ke bucket S3, lampirkan izin berikut ke peran layanan inferensi batch Anda dan ganti ${{s3-bucket-input}} dengan ember tempat Anda mengunggah file input dan ${{s3-bucket-output}} dengan ember tempat Anda ingin menulis file output.

penting

Akses bucket lintas akun saat ini tidak didukung. Bucket S3 yang Anda tentukan dalam kebijakan ini harus menjadi milik akun yang akan menjalankan tugas inferensi batch.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "s3:GetObject",
                "s3:PutObject",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::${{s3-bucket-input}}",
                "arn:aws:s3:::${{s3-bucket-input}}/*",
                "arn:aws:s3:::${{s3-bucket-output}}",
                "arn:aws:s3:::${{s3-bucket-output}}/*"
            ],
            "Effect": "Allow"
        }
    ]
}