Formatta e carica i dati di inferenza in batch

Per preparare gli input per l'inferenza in batch, crea un file.jsonl nel seguente formato:

{ "recordId" : "11 character alphanumeric string", "modelInput" : {JSON body} }
...

Ogni riga contiene un oggetto JSON con un recordId campo e un modelInput campo contenente il corpo della richiesta per un input che desideri inviare. Il formato dell'oggetto modelInput JSON deve corrispondere al body campo del modello utilizzato nella InvokeModel richiesta. Per ulteriori informazioni, consulta Parametri della richiesta di inferenza e campi di risposta per i modelli di base.

Nota

• Se ometti il recordId campo, Amazon Bedrock lo aggiunge nell'output.

• Specifichi il modello che desideri utilizzare quando crei il processo di inferenza in batch.

Ad esempio, è possibile fornire un file JSONL contenente la riga seguente se si prevede di eseguire l'inferenza in batch utilizzando il Anthropic Claude 3 Haiku modello:

{
    "recordId": "CALL0000001", 
    "modelInput": {
        "anthropic_version": "bedrock-2023-05-31", 
        "max_tokens": 1024,
        "messages": [ 
            { 
                "role": "user", 
                "content": [
                    {
                        "type": "text", 
                        "text": "Summarize the following call transcript: ..." 
                    } 
                ]
            }
        ]
    }
}

Dopo aver preparato i file di input, caricali in un bucket S3. Assegna le seguenti autorizzazioni al tuo ruolo di servizio di inferenza in batch e sostituiscile ${{s3-bucket-input}} con il bucket in cui hai caricato i file di input e ${{s3-bucket-output}} con il bucket in cui desideri scrivere i file di output.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "s3:GetObject",
                "s3:PutObject",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::${{s3-bucket-input}}", 
                "arn:aws:s3:::${{s3-bucket-input}}/*",
                "arn:aws:s3:::${{s3-bucket-output}}",
                "arn:aws:s3:::${{s3-bucket-output}}/*"
            ],
            "Effect": "Allow"
        }
    ]
}

Se utilizzi l'inferenza in batch per la comprensione dei video con i modelli Nova Lite e Nova Pro, assicurati che il percorso Amazon S3 fornito nel campo InputDataConfig dell'CreateModelInvocationJobinput API sia una cartella Amazon S3 che contenga tutti i file JSONL di input che desideri elaborare e tutti gli oggetti video a cui fanno riferimento i record di input.

Ad esempio, se si fornisce il percorso Amazon S3 s3://batch-inference-input-data/job-input-folder-data/ come processo batch, una configurazione dei dati appropriata sarebbe simile alla seguente: InputDataConfig

batch-inference-input-data/
job-input-folder-data/
input.jsonl
video.mp4

Di seguito è riportato un esempio s3://batch-inference-input-data/job-input-folder-data/input.jsonl con record di invocazione per l'elaborazione di un oggetto video. Nota come l'URI Amazon S3 dell'oggetto video si trovi nello stesso oggetto Amazon S3 del file JSONL qui.

{
    "recordId": "RECORD01",
    "modelInput": {
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "text": "You are an expert in recipe videos. Describe this video in less than 200 words following these guidelines: ..."
                    },
                    {
                        "video": {
                            "format": "mp4",
                            "source": {
                                "s3Location": {
                                    "uri": "s3://batch-inference-input-bucket/job-input-folder-data/video.mp4",
                                    "bucketOwner": "123456789012"
                                }
                            }
                        }
                    }
                ]
            }
        ]
    }
}

Supponendo percorsi URI Amazon S3 validi, l'oggetto video può essere annidato ovunque all'interno del percorso URI Amazon InputDataConfig S3 fornito. Consulta questo blog sull'analisi degli URL di Amazon S3 per scoprire come convalidare in modo proattivo Amazon S3 in una richiesta di input. URIs

Consulta le linee guida per i suggerimenti visivi di Amazon Nova per ulteriori informazioni su come configurare i record di chiamata per la comprensione dei video con Nova.