Formateo y carga de sus datos de inferencia

Para preparar las entradas para la inferencia por lotes, cree un archivo.jsonl con el siguiente formato:

{ "recordId" : "11 character alphanumeric string", "modelInput" : {JSON body} }
...

Cada línea contiene un JSON objeto con un recordId campo y un modelInput campo que contiene el cuerpo de la solicitud para la entrada que desee enviar. El formato del modelInput JSON objeto debe coincidir con el body campo del modelo que utilice en la InvokeModel solicitud. Para obtener más información, consulte Parámetros de inferencia para modelos fundacionales.

nota

Si omite el recordId campo, Amazon Bedrock lo añadirá a la salida.

Por ejemplo, puede proporcionar un JSONL archivo que contenga la siguiente línea si piensa realizar una inferencia por lotes mediante el Anthropic Claude 3 Haiku modelo:

{
    "recordId": "CALL0000001", 
    "modelInput": {
        "anthropic_version": "bedrock-2023-05-31", 
        "max_tokens": 1024,
        "messages": [ 
            { 
                "role": "user", 
                "content": [
                    {
                        "type": "text", 
                        "text": "Summarize the following call transcript: ..." 
                    } 
                ]
            }
        ]
    }
}

Tras cargar los archivos de entrada en un bucket de S3, asocie los siguientes permisos a su función de servicio de inferencia por lotes y sustitúyalos ${{s3-bucket-input}} con el depósito en el que cargó los archivos de entrada y ${{s3-bucket-output}} con el depósito en el que desea escribir los archivos de salida.

importante

Actualmente, no se admite el acceso a los depósitos entre cuentas. El depósito de S3 que especifique en esta política debe pertenecer a la cuenta que realizará el trabajo de inferencia por lotes.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "s3:GetObject",
                "s3:PutObject",
                "s3:ListBucket"
            ],
            "Resource": [
                "arn:aws:s3:::${{s3-bucket-input}}",
                "arn:aws:s3:::${{s3-bucket-input}}/*",
                "arn:aws:s3:::${{s3-bucket-output}}",
                "arn:aws:s3:::${{s3-bucket-output}}/*"
            ],
            "Effect": "Allow"
        }
    ]
}