Creazione di un processo di inferenza in batch - Amazon Bedrock

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Creazione di un processo di inferenza in batch

Nota

L'inferenza in batch è disponibile nella versione di anteprima ed è soggetta a modifiche. L'inferenza in batch è attualmente disponibile solo tramite l'API. Accedi alle API in batch tramite i seguenti SDK.

Ti consigliamo di creare un ambiente virtuale per utilizzare l'SDK. Poiché le API di inferenza in batch non sono disponibili negli SDK più recenti, consigliamo di disinstallare l'ultima versione dell'SDK dall'ambiente virtuale prima di installare la versione con le API di inferenza in batch. Per un esempio guidato, consulta. Esempi di codice

Request format
POST /model-invocation-job HTTP/1.1
Content-type: application/json

{
   "clientRequestToken": "string",
   "inputDataConfig": { 
        "s3InputDataConfig": { 
            "s3Uri": "string",
            "s3InputFormat": "JSONL"
        }
   },
   "jobName": "string",
   "modelId": "string",
   "outputDataConfig": {
        "s3OutputDataConfig": {
            "s3Uri": "string"
        }
   },
   "roleArn": "string",
   "tags": [ 
      { 
         "key": "string",
         "value": "string"
      }
   ]
}
Response format
HTTP/1.1 200
Content-type: application/json

{
   "jobArn": "string"
}

Per creare un processo di inferenza in batch, invia una richiesta CreateModelInvocationJob. Inserisci le informazioni che seguono.

  • L'ARN di un ruolo con autorizzazioni per eseguire l'inferenza in batch in roleArn.

  • Informazioni per il bucket S3 contenente i dati di input in inputDataConfig e il bucket in cui scrivere le informazioni in outputDataConfig.

  • L'ID del modello da utilizzare per l'inferenza in modelId (consulta ID del modello base di Amazon Bedrock (throughput su richiesta) ).

  • Un nome per il processo in jobName.

  • (Facoltativo) Qualsiasi tag da allegare al processo in tags.

La risposta restituisce un jobArn che è possibile utilizzare per altre chiamate API relative all'inferenza in batch.

Puoi controllare lo status del processo con le API GetModelInvocationJob o ListModelInvocationJobs.

Quando il processo è Completed, puoi estrarre i risultati del processo di inferenza in batch dai file nel bucket S3 che hai specificato nella richiesta di outputDataConfig. Il bucket S3 contiene i seguenti file:

  1. File di output in cui è riportato il risultato dell'inferenza del modello.

    • Se l'output è testo, Amazon Bedrock genera un file JSONL di output per ogni file JSONL di input. I file di output contengono gli output del modello per ogni input nel seguente formato. Un oggetto error sostituisce il campo modelOutput in qualsiasi riga in cui si è verificato un errore di inferenza. Il formato dell'oggetto JSON modelOutput corrisponde al campo body del modello utilizzato nella risposta InvokeModel. Per ulteriori informazioni, consulta Parametri di inferenza per modelli di fondazione.

      { "recordId" : "11 character alphanumeric string", "modelInput": {JSON body}, "modelOutput": {JSON body} }

      Il seguente esempio di output mostra un possibile file di output.

      { "recordId" : "3223593EFGH", "modelInput" : {"inputText": "Roses are red, violets are"}, "modelOutput" : {'inputTextTokenCount': 8, 'results': [{'tokenCount': 3, 'outputText': 'blue\n', 'completionReason': 'FINISH'}]}}
{ "recordId" : "1223213ABCD", "modelInput" : {"inputText": "Hello world"}, "error" : {"errorCode" : 400, "errorMessage" : "bad request" }}

    • Se l'output è un'immagine, Amazon Bedrock genera un file per ogni immagine.

  2. Un file manifest.json.out contenente un riepilogo del processo di inferenza in batch.

    {
    "processedRecordCount" : number,
    "successRecordCount": number,
    "errorRecordCount": number,
    "inputTextTokenCount": number, // For embedding/text to text models
    "outputTextTokenCount" : number, // For text to text models 
    "outputImgCount512x512pStep50": number, // For text to image models 
    "outputImgCount512x512pStep150" : number, // For text to image models 
    "outputImgCount512x896pStep50" : number, // For text to image models 
    "outputImgCount512x896pStep150" : number // For text to image models 
}