Buat pekerjaan inferensi batch

catatan

Inferensi Batch dalam pratinjau dan dapat berubah sewaktu-waktu. Inferensi Batch saat ini hanya tersedia melalui API. Akses API batch melalui SDK berikut.

• AWS SDK untuk Python.

• AWS SDK for Java.

Kami menyarankan Anda membuat lingkungan virtual untuk menggunakan SDK. Karena API inferensi batch tidak tersedia di SDK terbaru, sebaiknya hapus instalan SDK versi terbaru dari lingkungan virtual sebelum menginstal versi dengan API inferensi batch. Untuk contoh yang dipandu, lihatSampel Kode.

Request format

POST /model-invocation-job HTTP/1.1
Content-type: application/json

{
   "clientRequestToken": "string",
   "inputDataConfig": { 
        "s3InputDataConfig": { 
            "s3Uri": "string",
            "s3InputFormat": "JSONL"
        }
   },
   "jobName": "string",
   "modelId": "string",
   "outputDataConfig": {
        "s3OutputDataConfig": {
            "s3Uri": "string"
        }
   },
   "roleArn": "string",
   "tags": [ 
      { 
         "key": "string",
         "value": "string"
      }
   ]
}

Response format

HTTP/1.1 200
Content-type: application/json

{
   "jobArn": "string"
}

Untuk membuat pekerjaan inferensi batch, kirim CreateModelInvocationJob permintaan. Berikan informasi berikut.

• ARN peran dengan izin untuk menjalankan inferensi batch di. roleArn

• Informasi untuk bucket S3 yang berisi data input inputDataConfig dan bucket tempat menulis informasi. outputDataConfig

• ID model yang akan digunakan untuk inferensi di modelId (lihatID model dasar Amazon Bedrock (throughput sesuai permintaan) ).

• Sebuah nama untuk pekerjaan dijobName.

• (Opsional) Tag apa pun yang ingin Anda lampirkan ke pekerjaantags.

Respons menampilkan sebuah jobArn yang dapat Anda gunakan untuk panggilan API terkait inferensi batch lainnya.

Anda dapat memeriksa status pekerjaan dengan ListModelInvocationJobs API GetModelInvocationJob atau API.

Saat tugasnyaCompleted, Anda dapat mengekstrak hasil pekerjaan inferensi batch dari file di bucket S3 yang Anda tentukan dalam permintaan untuk. outputDataConfig Bucket S3 berisi file-file berikut:

1. File keluaran yang berisi hasil inferensi model.

   • Jika outputnya adalah teks, Amazon Bedrock menghasilkan file JSONL keluaran untuk setiap file JSONL input. File output berisi output dari model untuk setiap input dalam format berikut. Sebuah error objek menggantikan modelOutput bidang di setiap baris di mana ada kesalahan dalam inferensi. Format objek modelOutput JSON cocok dengan body bidang untuk model yang Anda gunakan dalam InvokeModel respons. Untuk informasi selengkapnya, lihat Parameter inferensi untuk model pondasi.

     { "recordId" : "11 character alphanumeric string", "modelInput": {JSON body}, "modelOutput": {JSON body} }

     Contoh berikut menunjukkan file output yang mungkin.

     { "recordId" : "3223593EFGH", "modelInput" : {"inputText": "Roses are red, violets are"}, "modelOutput" : {'inputTextTokenCount': 8, 'results': [{'tokenCount': 3, 'outputText': 'blue\n', 'completionReason': 'FINISH'}]}}
     { "recordId" : "1223213ABCD", "modelInput" : {"inputText": "Hello world"}, "error" : {"errorCode" : 400, "errorMessage" : "bad request" }}

   • Jika outputnya adalah gambar, Amazon Bedrock menghasilkan file untuk setiap gambar.

2. manifest.json.outFile yang berisi ringkasan pekerjaan inferensi batch.

   {
       "processedRecordCount" : number,
       "successRecordCount": number,
       "errorRecordCount": number,
       "inputTextTokenCount": number, // For embedding/text to text models
       "outputTextTokenCount" : number, // For text to text models 
       "outputImgCount512x512pStep50": number, // For text to image models 
       "outputImgCount512x512pStep150" : number, // For text to image models 
       "outputImgCount512x896pStep50" : number, // For text to image models 
       "outputImgCount512x896pStep150" : number // For text to image models 
   }