Contoh kode untuk inferensi batch - Amazon Bedrock

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Contoh kode untuk inferensi batch

Contoh kode dalam Bab ini menunjukkan cara membuat pekerjaan inferensi batch, melihat informasi tentangnya, dan menghentikannya.

Pilih bahasa untuk melihat contoh kode untuk itu:

Python

Buat file JSONL bernama abc.jsonl dan sertakan objek JSON untuk setiap catatan yang berisi setidaknya jumlah minimum catatan (lihat Jumlah minimum catatan per pekerjaan inferensi batch untuk). {Model} Kuota untuk Amazon Bedrock Dalam contoh ini, Anda akan menggunakan Anthropic Claude 3 Haiku model. Contoh berikut menunjukkan input JSON pertama dalam file:

{ "recordId": "CALL0000001", "modelInput": { "anthropic_version": "bedrock-2023-05-31", "max_tokens": 1024, "messages": [ { "role": "user", "content": [ { "type": "text", "text": "Summarize the following call transcript: ..." } ] } ] } } ... # Add records until you hit the minimum

Buat bucket S3 yang dipanggil amzn-s3-demo-bucket-input dan unggah file ke sana. Kemudian buat bucket S3 yang dipanggil amzn-s3-demo-bucket-output untuk menulis file output Anda. Jalankan cuplikan kode berikut untuk mengirimkan pekerjaan dan dapatkan jobArn dari respons:

import boto3 bedrock = boto3.client(service_name="bedrock") inputDataConfig=({ "s3InputDataConfig": { "s3Uri": "s3://amzn-s3-demo-bucket-input/abc.jsonl" } }) outputDataConfig=({ "s3OutputDataConfig": { "s3Uri": "s3://amzn-s3-demo-bucket-output/" } }) response=bedrock.create_model_invocation_job( roleArn="arn:aws:iam::123456789012:role/MyBatchInferenceRole", modelId="anthropic.claude-3-haiku-20240307-v1:0", jobName="my-batch-job", inputDataConfig=inputDataConfig, outputDataConfig=outputDataConfig ) jobArn = response.get('jobArn')

Kembalikan pekerjaan. status

bedrock.get_model_invocation_job(jobIdentifier=jobArn)['status']

Buat daftar pekerjaan inferensi batch ituFailed.

bedrock.list_model_invocation_jobs( maxResults=10, statusEquals="Failed", sortOrder="Descending" )

Hentikan pekerjaan yang Anda mulai.

bedrock.stop_model_invocation_job(jobIdentifier=jobArn)