Exemples de code

Les exemples de code présentés dans ce chapitre montrent comment créer une tâche d'inférence par lots, afficher les informations la concernant et l'arrêter. Sélectionnez une langue pour voir un exemple de code correspondant :

Python

Créez un JSONL fichier nommé abc.jsonl qui contient au moins le nombre minimum d'enregistrements (voirQuotas pour Amazon Bedrock). Vous pouvez utiliser le contenu suivant comme première ligne et comme entrée :

{
    "recordId": "CALL0000001", 
    "modelInput": {
        "anthropic_version": "bedrock-2023-05-31", 
        "max_tokens": 1024,
        "messages": [ 
            { 
                "role": "user", 
                "content": [
                    {
                        "type": "text", 
                        "text": "Summarize the following call transcript: ..." 
                    } 
                ]
            }
        ]
    }
}

Créez un compartiment S3 appelé batch-input et téléchargez-y le fichier. Créez ensuite un compartiment S3 appelé batch-output pour y écrire vos fichiers de sortie. Exécutez l'extrait de code suivant pour soumettre une tâche et obtenir le jobArn extrait de la réponse :

import boto3

bedrock = boto3.client(service_name="bedrock")

inputDataConfig=({
    "s3InputDataConfig": {
        "s3Uri": "s3://batch-input/abc.jsonl"
    }
})

outputDataConfig=({
    "s3OutputDataConfig": {
        "s3Uri": "s3://batch-output/"
    }
})

response=bedrock.create_model_invocation_job(
    roleArn="arn:aws:iam::123456789012:role/MyBatchInferenceRole",
    modelId="anthropic.claude-3-haiku-20240307-v1:0",
    jobName="my-batch-job",
    inputDataConfig=inputDataConfig,
    outputDataConfig=outputDataConfig
)

jobArn = response.get('jobArn')

Renvoyez le statut (status) de la tâche.

bedrock.get_model_invocation_job(jobIdentifier=jobArn)['status']

Répertorier les tâches d'inférence par lots qui Failed.

bedrock.list_model_invocation_jobs(
    maxResults=10,
    statusEquals="Failed",
    sortOrder="Descending"
)

Arrêtez la tâche que vous avez commencée.

bedrock.stop_model_invocation_job(jobIdentifier=jobArn)

Java

package com.amazon.aws.sample.bedrock.inference;

import com.amazonaws.services.bedrock.AmazonBedrockAsync;
import com.amazonaws.services.bedrock.AmazonBedrockAsyncClientBuilder;
import com.amazonaws.services.bedrock.model.CreateModelInvocationJobRequest;
import com.amazonaws.services.bedrock.model.CreateModelInvocationJobResult;
import com.amazonaws.services.bedrock.model.GetModelInvocationJobRequest;
import com.amazonaws.services.bedrock.model.GetModelInvocationJobResult;
import com.amazonaws.services.bedrock.model.InvocationJobInputDataConfig;
import com.amazonaws.services.bedrock.model.InvocationJobOutputDataConfig;
import com.amazonaws.services.bedrock.model.InvocationJobS3InputDataConfig;
import com.amazonaws.services.bedrock.model.InvocationJobS3OutputDataConfig;
import com.amazonaws.services.bedrock.model.ListModelInvocationJobsRequest;
import com.amazonaws.services.bedrock.model.ListModelInvocationJobsResult;
import com.amazonaws.services.bedrock.model.StopModelInvocationJobRequest;
import com.amazonaws.services.bedrock.model.StopModelInvocationJobResult;

public class BedrockAsyncInference {
    private final AmazonBedrockAsync amazonBedrockAsyncClient = AmazonBedrockAsyncClientBuilder.defaultClient();
    public void createModelInvokeJobSampleCode() {
    
        final InvocationJobS3InputDataConfig invocationJobS3InputDataConfig = new InvocationJobS3InputDataConfig()
                .withS3Uri("s3://batch-input/abc.jsonl")
                .withS3InputFormat("JSONL");
    
        final InvocationJobInputDataConfig inputDataConfig = new InvocationJobInputDataConfig()
                .withS3InputDataConfig(invocationJobS3InputDataConfig);
    
        final InvocationJobS3OutputDataConfig invocationJobS3OutputDataConfig = new InvocationJobS3OutputDataConfig()
                .withS3Uri("s3://batch-output/");
    
        final InvocationJobOutputDataConfig invocationJobOutputDataConfig = new InvocationJobOutputDataConfig()
                .withS3OutputDataConfig(invocationJobS3OutputDataConfig);
    
    
        final CreateModelInvocationJobRequest createModelInvocationJobRequest = new CreateModelInvocationJobRequest()
                .withModelId("anthropic.claude-3-haiku-20240307-v1:0")
                .withJobName("unique-job-name")
                .withClientRequestToken("Client-token")
                .withInputDataConfig(inputDataConfig)
                .withOutputDataConfig(invocationJobOutputDataConfig);
    
    
        final CreateModelInvocationJobResult createModelInvocationJobResult = amazonBedrockAsyncClient
                .createModelInvocationJob(createModelInvocationJobRequest);
    
        System.out.println(createModelInvocationJobResult.getJobArn());
    }
    
    public void getModelInvokeJobSampleCode() {
        final GetModelInvocationJobRequest getModelInvocationJobRequest = new GetModelInvocationJobRequest()
                .withJobIdentifier("jobArn");
    
        final GetModelInvocationJobResult getModelInvocationJobResult = amazonBedrockAsyncClient
                .getModelInvocationJob(getModelInvocationJobRequest);
    
    }
    
    public void listModelInvokeJobSampleCode() {
        final ListModelInvocationJobsRequest listModelInvocationJobsRequest = new ListModelInvocationJobsRequest()
                .withMaxResults(10)
                .withNameContains("matchin-string");
    
        final ListModelInvocationJobsResult listModelInvocationJobsResult = amazonBedrockAsyncClient
                .listModelInvocationJobs(listModelInvocationJobsRequest);
    
    }
    
    public void stopModelInvokeJobSampleCode() {
        final StopModelInvocationJobRequest stopModelInvocationJobRequest = new StopModelInvocationJobRequest()
                .withJobIdentifier("jobArn");
    
        final StopModelInvocationJobResult stopModelInvocationJobResult = amazonBedrockAsyncClient
                .stopModelInvocationJob(stopModelInvocationJobRequest);
    
    }

}