Erstellen eines Batch-Inferenzauftrags

Anmerkung

Bei der Batch-Inferenz handelt es sich um eine Vorversion, die Änderungen unterliegt. Batch-Inferenz ist derzeit nur über die API verfügbar. Greifen Sie über die folgenden SDKs auf Batch-APIs zu.

• AWS SDK für Python.

• AWS SDK for Java.

Wir empfehlen, dass Sie eine virtuelle Umgebung für die Verwendung des SDK erstellen. Da Batch-Inferenz-APIs in den neuesten SDKs nicht verfügbar sind, empfehlen wir, dass Sie die neueste Version des SDK aus der virtuellen Umgebung deinstallieren, bevor Sie die Version mit den Batch-Inferenz-APIs installieren. Ein Beispiel mit Anleitungen finden Sie unter. Codebeispiele

Request format

POST /model-invocation-job HTTP/1.1
Content-type: application/json

{
   "clientRequestToken": "string",
   "inputDataConfig": { 
        "s3InputDataConfig": { 
            "s3Uri": "string",
            "s3InputFormat": "JSONL"
        }
   },
   "jobName": "string",
   "modelId": "string",
   "outputDataConfig": {
        "s3OutputDataConfig": {
            "s3Uri": "string"
        }
   },
   "roleArn": "string",
   "tags": [ 
      { 
         "key": "string",
         "value": "string"
      }
   ]
}

Response format

HTTP/1.1 200
Content-type: application/json

{
   "jobArn": "string"
}

Senden Sie eine CreateModelInvocationJob-Anforderung, um einen Batch-Inferenzauftrag zu erstellen. Geben Sie die folgenden Informationen ein:

• Der ARN einer Rolle mit Berechtigungen zum Ausführen von Batch-Inferenz in roleArn.

• Informationen für den S3-Bucket, der die Eingabedaten in inputDataConfig enthält, und den Bucket, in den Informationen in outputDataConfig geschrieben werden sollen.

• Die ID des Modells, das zur Inferenz in modelId verwendet werden soll (siehe Amazon Bedrock-Basismodell-IDs (Durchsatz auf Abruf) ).

• Ein Name für die Auftrag in jobName.

• (Optional) Alle Tags, die Sie an den Auftrag in tags anfügen möchten.

Die Antwort gibt einen jobArn zurück, den Sie für andere API-Aufrufe im Zusammenhang mit Batch-Inferenzen verwenden können.

Sie können den status des Auftrags entweder mit der GetModelInvocationJob-API oder der ListModelInvocationJobs-API überprüfen.

Wenn der Auftrag Completed ist, können Sie die Ergebnisse des Batch-Inferenzauftrags aus den Dateien im S3-Bucket extrahieren, den Sie in der Anforderung für die outputDataConfig angegeben haben. Das S3-Bucket enthält die folgenden Dateien:

1. Ausgabedateien, die das Ergebnis der Modellinferenz enthalten.

   • Wenn es sich bei der Ausgabe um Text handelt, generiert Amazon Bedrock für jede JSONL-Eingabedatei eine JSONL-Ausgabedatei. Die Ausgabedateien enthalten Ausgaben des Modells für jede Eingabe im folgenden Format. Ein error-Objekt ersetzt das Feld modelOutput in jeder Zeile, in der ein Inferenzfehler aufgetreten ist. Das Format des JSON-Objekts modelOutput stimmt mit dem body-Feld für das Modell überein, das Sie in der InvokeModel-Antwort verwenden. Weitere Informationen finden Sie unter Inferenzparameter für Basismodelle.

     { "recordId" : "11 character alphanumeric string", "modelInput": {JSON body}, "modelOutput": {JSON body} }

     Das folgende Beispiel zeigt eine mögliche Ausgabedatei.

     { "recordId" : "3223593EFGH", "modelInput" : {"inputText": "Roses are red, violets are"}, "modelOutput" : {'inputTextTokenCount': 8, 'results': [{'tokenCount': 3, 'outputText': 'blue\n', 'completionReason': 'FINISH'}]}}
     { "recordId" : "1223213ABCD", "modelInput" : {"inputText": "Hello world"}, "error" : {"errorCode" : 400, "errorMessage" : "bad request" }}

   • Wenn es sich bei der Ausgabe um ein Bild handelt, generiert Amazon Bedrock für jedes Bild eine Datei.

2. Eine manifest.json.out-Datei, die eine Zusammenfassung des Batch-Inferenzauftrags enthält.

   {
       "processedRecordCount" : number,
       "successRecordCount": number,
       "errorRecordCount": number,
       "inputTextTokenCount": number, // For embedding/text to text models
       "outputTextTokenCount" : number, // For text to text models 
       "outputImgCount512x512pStep50": number, // For text to image models 
       "outputImgCount512x512pStep150" : number, // For text to image models 
       "outputImgCount512x896pStep50" : number, // For text to image models 
       "outputImgCount512x896pStep150" : number // For text to image models 
   }