Criar um trabalho de inferência em lote

nota

A inferência em lote está em versão de pré-visualização e está sujeita a alterações. Atualmente, a inferência em lote só está disponível por meio doAPI. Acesse o lote APIs por meio do seguinteSDKs.

• AWS SDKpara Python.

• AWS SDKpara Java.

Recomendamos que você crie um ambiente virtual para usar SDK o. Como a inferência em lote APIs não está disponível na versão mais recenteSDKs, recomendamos que você desinstale a versão mais recente do do SDK do ambiente virtual antes de instalar a versão com a inferência APIs em lote. Para ver um exemplo guiado, consulteExemplos de código.

Request format

POST /model-invocation-job HTTP/1.1
Content-type: application/json

{
   "clientRequestToken": "string",
   "inputDataConfig": { 
        "s3InputDataConfig": { 
            "s3Uri": "string",
            "s3InputFormat": "JSONL"
        }
   },
   "jobName": "string",
   "modelId": "string",
   "outputDataConfig": {
        "s3OutputDataConfig": {
            "s3Uri": "string"
        }
   },
   "roleArn": "string",
   "tags": [ 
      { 
         "key": "string",
         "value": "string"
      }
   ]
}

Response format

HTTP/1.1 200
Content-type: application/json

{
   "jobArn": "string"
}

Para criar um trabalho de inferência em lote, envie uma solicitação CreateModelInvocationJob. Forneça as informações a seguir.

• O ARN de uma função com permissões para executar inferência em lote emroleArn.

• Informações para o bucket do S3 contendo os JSONL arquivos de entrada inputDataConfig e o bucket onde gravar as informações. outputDataConfig

• O ID do modelo a ser utilizado para inferência em modelId (consulte Modelo básico do Amazon Bedrock IDs (taxa de transferência sob demanda) ).

• Um nome para o trabalho em jobName.

• (Opcional) Etiquetas que queira anexar ao trabalho em tags.

A resposta retorna uma jobArn que você pode usar para outras chamadas relacionadas à inferência API em lote.

Você pode verificar status o trabalho com o GetModelInvocationJob ou ListModelInvocationJobsAPIs.

Quando o trabalho estiver Completed, você poderá extrair os resultados do trabalho de inferência em lote dos arquivos no bucket do S3 que especificou na solicitação para outputDataConfig. O bucket do S3 especificado contém os seguintes arquivos de dados:

1. Arquivos de saída com o resultado da inferência do modelo.

   • Se a saída for texto, o Amazon Bedrock gera um JSONL arquivo de saída para cada JSONL arquivo de entrada. Os arquivos de saída contêm as saídas do modelo para cada entrada no formato a seguir. Um objeto error substitui o campo modelOutput em todas as linhas em que houve erro na inferência. O formato do modelOutput JSON objeto corresponde ao body campo do modelo que você usa na InvokeModel resposta. Para obter mais informações, consulte Parâmetros de inferência para modelos de base.

     { "recordId" : "11 character alphanumeric string", "modelInput": {JSON body}, "modelOutput": {JSON body} }

     O exemplo a seguir mostra um arquivo de saída possível.

     { "recordId" : "3223593EFGH", "modelInput" : {"inputText": "Roses are red, violets are"}, "modelOutput" : {'inputTextTokenCount': 8, 'results': [{'tokenCount': 3, 'outputText': 'blue\n', 'completionReason': 'FINISH'}]}}
     { "recordId" : "1223213ABCD", "modelInput" : {"inputText": "Hello world"}, "error" : {"errorCode" : 400, "errorMessage" : "bad request" }}

   • Se a saída for imagem, o Amazon Bedrock gerará um arquivo para cada imagem.

2. Um arquivo manifest.json.out com um resumo do trabalho de inferência em lote.

   {
       "processedRecordCount" : number,
       "successRecordCount": number,
       "errorRecordCount": number,
       "inputTextTokenCount": number, // For embedding/text to text models
       "outputTextTokenCount" : number, // For text to text models 
       "outputImgCount512x512pStep50": number, // For text to image models 
       "outputImgCount512x512pStep150" : number, // For text to image models 
       "outputImgCount512x896pStep50" : number, // For text to image models 
       "outputImgCount512x896pStep150" : number // For text to image models 
   }