Criar um trabalho de inferência em lote

Depois de configurar um bucket do Amazon S3 com arquivos para executar a inferência do modelo, é possível criar um trabalho de inferência em lote. Antes de começar, verifique se você configurou os arquivos de acordo com as instruções descritas emFormatar e carregar os dados de inferência.

nota

Para enviar um trabalho de inferência em lote usando uma VPC, use a API. Selecione a guia API para saber como incluir a configuração da VPC.

Para saber como criar um trabalho de inferência em lote, escolha a guia do seu método preferido e siga as etapas:

Console

Como criar um trabalho de inferência em lote

1. Faça login na função AWS Management Console usando uma função do IAM com as permissões do Amazon Bedrock e abra o console do Amazon Bedrock em. https://console.aws.amazon.com/bedrock/

2. No painel de navegação à esquerda, selecione Inferência em lote.

3. Na seção Trabalhos de inferência em lote, escolha Criar trabalho.

4. Na seção Detalhes do trabalho, forneça um Nome de trabalho ao trabalho de inferência em lote e selecione um modelo a ser usado para o trabalho de inferência em lote escolhendo Selecionar modelo.

5. Na seção Dados de entrada, escolha Procurar no S3 e selecione um local no S3 para seu trabalho de inferência em lote. A inferência em lote processa todo o JSONL e os arquivos de conteúdo que os acompanham nesse local do S3, seja o local uma pasta do S3 ou um único arquivo JSONL.

   nota

   Se os dados de entrada estiverem em um bucket do S3 que pertença a uma conta diferente daquela da qual você está enviando o trabalho, use a API para enviar o trabalho de inferência em lote. Para saber como fazer isso, selecione a guia API acima.

6. Na seção Dados de saída, escolha Procurar no S3 e selecione um local no S3 para armazenar os arquivos de saída do trabalho de inferência em lote. Por padrão, os dados de saída serão criptografados por um Chave gerenciada pela AWS. Para escolher uma chave do KMS personalizada, selecione Personalizar configurações de criptografia (avançado) e escolha uma chave. Para obter mais informações sobre a criptografia dos recursos do Amazon Bedrock e a configuração de uma chave do KMS personalizada, consulte Criptografia de dados.

   nota

   Se planejar gravar dados de saída em um bucket do S3 que pertença a uma conta diferente daquela da qual você está enviando o trabalho, use a API para enviar o trabalho de inferência em lote. Para saber como fazer isso, selecione a guia API acima.

7. Na seção Acesso ao serviço selecione uma das seguintes opções:

   • Usar um perfil de serviço existente: selecione um perfil de serviço na lista suspensa. Para obter mais informações sobre como configurar um perfil personalizado com as permissões apropriadas, consulte Permissões obrigatórias para a inferência em lote.

   • Criar e usar um novo perfil de serviço: insira um nome para o perfil de serviço.

8. (Opcional) Para associar tags ao trabalho de inferência em lote, expanda a seção Tags e adicione uma chave e um valor opcional para cada tag. Para obter mais informações, consulte Marcação de recursos do Amazon Bedrock.

9. Escolha Criar trabalho de inferência em lote.

API

Para criar um trabalho de inferência em lote, envie uma CreateModelInvocationJobsolicitação com um endpoint do plano de controle Amazon Bedrock.

Os campos a seguir são obrigatórios:

Campo	Caso de uso
jobName	Para especificar um nome para o trabalho.
roleArn	Para especificar o nome do recurso da Amazon (ARN) do perfil de serviço com permissões para criar e gerenciar o trabalho. Para obter mais informações, consulte Crie uma função de serviço personalizada para inferência em lote.
modelId	Para especificar o ID ou o ARN do modelo a ser usado na inferência.
inputDataConfig	Para especificar a localização do S3 contendo os dados de entrada. A inferência em lote processa todo o JSONL e os arquivos de conteúdo que os acompanham nesse local do S3, seja o local uma pasta do S3 ou um único arquivo JSONL. Para obter mais informações, consulte Formatar e carregar os dados de inferência.
outputDataConfig	Para especificar o local do S3 no qual gravar as respostas do modelo.

Os seguintes campos são opcionais:

Campo	Caso de uso
timeoutDurationInHoras	Para especificar a duração em horas após a qual o trabalho atingirá o tempo limite.
tags	Para especificar qualquer tag a ser associada ao trabalho. Para obter mais informações, consulte Marcação de recursos do Amazon Bedrock.
vpcConfig	Para especificar a configuração da VPC a ser usada para proteger os dados durante o trabalho. Para obter mais informações, consulte Proteger trabalhos de inferência em lote usando uma VPC.
clientRequestToken	Para garantir que a solicitação de API seja concluída apenas uma vez. Para obter mais informações, consulte Ensuring idempotency.

A resposta retorna um jobArn que pode ser usado para fazer referência ao trabalho ao executar outras chamadas de API relacionadas à inferência em lote.