Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.
Contoh kode untuk inferensi batch
Contoh kode dalam Bab ini menunjukkan cara membuat pekerjaan inferensi batch, melihat informasi tentangnya, dan menghentikannya.
Pilih bahasa untuk melihat contoh kode untuk itu:
- Python
-
Buat file JSONL bernama
abc.jsonl
dan sertakan objek JSON untuk setiap catatan yang berisi setidaknya jumlah minimum catatan (lihat Jumlah minimum catatan per pekerjaan inferensi batch untuk).{Model}
Kuota untuk Amazon Bedrock Dalam contoh ini, Anda akan menggunakan Anthropic Claude 3 Haiku model. Contoh berikut menunjukkan input JSON pertama dalam file:{ "recordId": "CALL0000001", "modelInput": { "anthropic_version": "bedrock-2023-05-31", "max_tokens": 1024, "messages": [ { "role": "user", "content": [ { "type": "text", "text": "Summarize the following call transcript: ..." } ] } ] } } ... # Add records until you hit the minimum
Buat bucket S3 yang dipanggil
amzn-s3-demo-bucket-input
dan unggah file ke sana. Kemudian buat bucket S3 yang dipanggilamzn-s3-demo-bucket-output
untuk menulis file output Anda. Jalankan cuplikan kode berikut untuk mengirimkan pekerjaan dan dapatkanjobArn
dari respons:import boto3 bedrock = boto3.client(service_name="bedrock") inputDataConfig=({ "s3InputDataConfig": { "s3Uri": "s3://amzn-s3-demo-bucket-input/abc.jsonl" } }) outputDataConfig=({ "s3OutputDataConfig": { "s3Uri": "s3://amzn-s3-demo-bucket-output/" } }) response=bedrock.create_model_invocation_job( roleArn="arn:aws:iam::123456789012:role/MyBatchInferenceRole", modelId="anthropic.claude-3-haiku-20240307-v1:0", jobName="my-batch-job", inputDataConfig=inputDataConfig, outputDataConfig=outputDataConfig ) jobArn = response.get('jobArn')
Kembalikan pekerjaan.
status
bedrock.get_model_invocation_job(jobIdentifier=jobArn)['status']
Buat daftar pekerjaan inferensi batch itu
Failed
.bedrock.list_model_invocation_jobs( maxResults=10, statusEquals="Failed", sortOrder="Descending" )
Hentikan pekerjaan yang Anda mulai.
bedrock.stop_model_invocation_job(jobIdentifier=jobArn)