Formatar e carregar os dados de inferência

Você deve adicionar seus dados de inferência em lote a um local do S3 que você escolherá ou especificará ao enviar um trabalho de invocação de modelo. O local do S3 deve conter os seguintes itens:

• Pelo menos um arquivo JSONL que define as entradas do modelo. Um JSONL que contém linhas de objetos JSON. Seu arquivo JSONL deve terminar com a extensão .jsonl e estar no seguinte formato:

  { "recordId" : "alphanumeric string", "modelInput" : {JSON body} }
  ...
  

  Cada linha contém um objeto JSON com um campo recordId e um campo modelInput que contêm o corpo da solicitação para uma entrada que você deseja enviar. O formato do objeto JSON modelInput deve corresponder ao campo body do modelo usado na solicitação InvokeModel. Para obter mais informações, consulte Parâmetros de solicitação de inferência e campos de resposta para modelos de base.

  nota

  • Se você omitir o campo recordId, o Amazon Bedrock o adicionará na saída.

  • Não é garantido que a ordem dos registros no arquivo JSONL de saída corresponda à ordem dos registros no arquivo JSONL de entrada.

  • Especifique o modelo que deseja usar ao criar o trabalho de inferência em lote.

• (Se o conteúdo de entrada contiver um local do Amazon S3) Alguns modelos permitem que você defina o conteúdo da entrada como um local do S3. Consulte Exemplo de entrada de vídeo para o Amazon Nova.

  Atenção

  Ao usar o S3 URIs em seus prompts, todos os recursos devem estar no mesmo bucket e pasta do S3. O InputDataConfig parâmetro deve especificar o caminho da pasta contendo todos os recursos vinculados (como vídeos ou imagens), não apenas um .jsonl arquivo individual. Observe que os caminhos do S3 diferenciam maiúsculas de minúsculas, portanto, certifique-se de URIs corresponder à estrutura exata da pasta.

Suas entradas devem estar de acordo com as cotas de inferência em lote. É possível pesquisas essas seguintes cotas em Cotas de serviço do Amazon Bedrock:

• Número mínimo de registros por trabalho de inferência em lote: o número mínimo de registros (objetos JSON) nos arquivos JSONL no trabalho.

• Registros por arquivo de entrada por trabalho de inferência em lote: o número máximo de registros (objetos JSON) em um único arquivo JSONL no trabalho.

• Registros por trabalho de inferência em lote: o número máximo de registros (objetos JSON) nos arquivos JSONL no trabalho.

• Tamanho do arquivo de entrada de inferência em lote: o tamanho máximo de um único arquivo na tarefa.

• Tamanho do trabalho de inferência em lote: o tamanho máximo cumulativo de todos os arquivos de entrada.

Para entender melhor como configurar suas entradas de inferência em lote, consulte os seguintes exemplos:

Exemplo de entrada de texto para o Claude 3 Haiku da Anthropic

Se você planeja executar a inferência em lote usando o formato da API Messages do modelo Claude 3 Haiku da Anthropic, é possível fornecer um arquivo JSONL que contém o seguinte objeto JSON como uma das linhas:

{
    "recordId": "CALL0000001", 
    "modelInput": {
        "anthropic_version": "bedrock-2023-05-31", 
        "max_tokens": 1024,
        "messages": [ 
            { 
                "role": "user", 
                "content": [
                    {
                        "type": "text", 
                        "text": "Summarize the following call transcript: ..." 
                    } 
                ]
            }
        ]
    }
}

Exemplo de entrada de vídeo para o Amazon Nova

Se você planeja executar inferência em lote em entradas de vídeo usando modelos os Amazon Nova Lite ou Amazon Nova Pro, existe a opção de definir o vídeo em bytes ou como um local do S3 no arquivo JSONL. Por exemplo, é possível ter um bucket do S3 cujo caminho é s3://batch-inference-input-bucket e contém os seguintes arquivos:

s3://batch-inference-input-bucket/
├── videos/
│   ├── video1.mp4
│   ├── video2.mp4
│   ├── ...
│   └── video50.mp4
└── input.jsonl

Um exemplo de registro do arquivo input.jsonl seria o seguinte:

{
    "recordId": "RECORD01",
    "modelInput": {
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "text": "You are an expert in recipe videos. Describe this video in less than 200 words following these guidelines: ..."
                    },
                    {
                        "video": {
                            "format": "mp4",
                            "source": {
                                "s3Location": {
                                    "uri": "s3://batch-inference-input-bucket/videos/video1.mp4",
                                    "bucketOwner": "111122223333"
                                }
                            }
                        }
                    }
                ]
            }
        ]
    }
}

Ao criar o trabalho de inferência em lote, deve especificar o caminho da pasta s3://batch-inference-input-bucket em seu InputDataConfig parâmetro. A inferência em lote processará o input.jsonl arquivo nesse local, junto com todos os recursos referenciados (como os arquivos de vídeo na videos subpasta).

Os seguintes recursos fornecem mais informações sobre o envio de entradas de vídeo para inferência em lote:

• Para saber como validar proativamente o Amazon URIs S3 em uma solicitação de entrada, consulte o blog de análise de URL do Amazon S3.

• Para ter mais informações sobre como configurar registros de invocação para compreensão de vídeo com o Nova, consulte as diretrizes de prompt visão do Amazon Nova.

O tópico a seguir descreve como configurar as permissões de acesso e inferência em lote do S3 para que uma identidade possa realizar inferência em lote.