Formatta e carica i dati di inferenza in batch

Per preparare gli input per l'inferenza in batch, crea un file.jsonl nel seguente formato:

{ "recordId" : "11 character alphanumeric string", "modelInput" : {JSON body} }
...

Ogni riga contiene un JSON oggetto con un recordId campo e un modelInput campo contenente il corpo della richiesta per un input da inviare. Il formato dell'modelInputJSONoggetto deve corrispondere al body campo del modello utilizzato nella InvokeModel richiesta. Per ulteriori informazioni, consulta Parametri di richiesta di inferenza e campi di risposta per modelli di base.

Nota

Se ometti il recordId campo, Amazon Bedrock lo aggiunge nell'output.

Ad esempio, potresti fornire un JSONL file contenente la riga seguente se prevedi di eseguire l'inferenza in batch utilizzando il Anthropic Claude 3 Haiku modello:

{
    "recordId": "CALL0000001", 
    "modelInput": {
        "anthropic_version": "bedrock-2023-05-31", 
        "max_tokens": 1024,
        "messages": [ 
            { 
                "role": "user", 
                "content": [
                    {
                        "type": "text", 
                        "text": "Summarize the following call transcript: ..." 
                    } 
                ]
            }
        ]
    }
}

Dopo aver preparato i file di input, caricali in un bucket S3. Assegna le seguenti autorizzazioni al tuo ruolo di servizio di inferenza in batch e sostituisci ${{s3-bucket-input}} con il bucket in cui hai caricato i file di input e ${{s3-bucket-output}} con il bucket in cui vuoi scrivere i file di output.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "s3:GetObject",
                "s3:PutObject",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::${{s3-bucket-input}}", 
                "arn:aws:s3:::${{s3-bucket-input}}/*",
                "arn:aws:s3:::${{s3-bucket-output}}",
                "arn:aws:s3:::${{s3-bucket-output}}/*"
            ],
            "Effect": "Allow"
        }
    ]
}