As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Executar inferência em lote
nota
A inferência em lote está em versão de pré-visualização e está sujeita a alterações. No momento, a inferência em lote só está disponível por meio da API. Acesse as APIs de lote por meio dos SDKs a seguir.
Recomendamos que você crie um ambiente virtual para usar o SDK. Como as APIs de inferência em lote não estão disponíveis nos SDKs mais recentes, recomendamos que você desinstale a versão mais recente do SDK do ambiente virtual antes de instalar a versão com as APIs de inferência em lote. Para ver um exemplo guiado, consulteExemplos de código.
Com a inferência em lote, você pode executar várias solicitações de inferência de forma assíncrona para processar um grande número de solicitações com eficiência, executando inferência em dados que estão armazenados em um bucket do S3. Você pode usar a inferência em lote para melhorar a performance da inferência de modelos em grandes conjuntos de dados.
nota
A inferência em lote não é compatível com modelos provisionados.
Para ver as cotas de inferência em lote, consulte Cotas de inferência em lote.
O Amazon Bedrock oferece suporte à inferência em lote nas modalidades a seguir.
-
Texto para incorporações
-
Texto para texto
-
Texto para imagem
-
Imagem para imagem
-
Imagem para incorporações
Para preparar os dados para a inferência em lote, armazene-os em um bucket do Amazon S3. Depois, você pode realizar e gerenciar trabalhos de inferência em lote usando as APIs ModelInvocationJob.
Antes de realizar a inferência em lote, você deve receber permissões para chamar as APIs de inferência em lote. Depois, configure um perfil de serviço do IAM para o Amazon Bedrock a fim de ter permissões para realizar trabalhos de inferência em lote.
Você pode usar as APIs de inferência em lote baixando e instalando um dos seguintes pacotes de AWS SDK.
Tópicos
