Formatar e fazer upload dos dados de inferência

nota

A inferência em lote está em versão de pré-visualização e está sujeita a alterações. Atualmente, a inferência em lote só está disponível por meio doAPI. Acesse o lote APIs por meio do seguinteSDKs.

• AWS SDKpara Python.

• AWS SDKpara Java.

Recomendamos que você crie um ambiente virtual para usar SDK o. Como a inferência em lote APIs não está disponível na versão mais recenteSDKs, recomendamos que você desinstale a versão mais recente do do SDK do ambiente virtual antes de instalar a versão com a inferência APIs em lote. Para ver um exemplo guiado, consulteExemplos de código.

Faça upload de JSONL arquivos contendo os dados a serem inseridos no modelo em seu bucket do S3 com o formato a seguir. Cada linha deve corresponder ao formato a seguir e é um item diferente para inferência. Se você deixar o campo recordId de fora, o Amazon Bedrock o adicionará na saída.

nota

O formato do modelInput JSONL objeto deve corresponder ao body campo do modelo que você usa na InvokeModel solicitação. Para obter mais informações, consulte Parâmetros de inferência para modelos de base.

{ "recordId" : "11 character alphanumeric string", "modelInput" : {JSON body} }
...

Por exemplo, você pode fornecer um JSONL arquivo contendo os dados a seguir e executar a inferência em lote em um modelo de Titan texto.

{ "recordId" : "3223593EFGH", "modelInput" : {"inputText": "Roses are red, violets are"} }
{ "recordId" : "1223213ABCD", "modelInput" : {"inputText": "Hello world"} }