Melhores práticas para criar e avaliar agentes de uso de computadores

Um agente de uso do computador funciona em um loop: ele olha para a tela, age e olha novamente. As práticas a seguir ajudam você a criar agentes que concluam tarefas de forma confiável, em menos etapas e com menor custo. Eles se aplicam a todos os fluxos de trabalho e famílias de modelos. Os resultados variam de acordo com seu fluxo de trabalho, modelo, solicitações e ambiente, portanto, avalie cada alteração em suas próprias tarefas.

Projete o ciclo de ação

A maior parte do esforço de um agente se concentra em ler a tela e digitar, não em se mover entre janelas. Reduza os erros de leitura e o número de etapas antes de ajustar a navegação.

• Dê ao agente texto em vez de pixels. Ler valores exatos, como nomes, endereços de e-mail e números de contas, em uma captura de tela é uma fonte comum de erros. Quando os dados tiverem uma cópia de texto, forneça-a por meio de uma ferramenta. Para valores em tabelas ou colunas, faça com que o agente também visualize a imagem, pois uma camada de texto pode misturar colunas.

• Coloque a instrução antes da captura de tela. Quando o agente precisar encontrar e clicar em algo, coloque a instrução à frente da imagem na solicitação, para que ele saiba o que procurar.

• Comece a partir de um layout conhecido. Maximize cada aplicativo com um atalho de teclado antes que o agente trabalhe nele. Um layout consistente torna os fluxos repetidos mais previsíveis e reduz a rolagem.

• Prefiro o teclado. Use atalhos de teclado para rolar, maximizar janelas e abrir menus, especialmente para controles pequenos ou difíceis de pressionar. Os atalhos não dependem da localização de um controle na tela.

• Confirme cada ação. Um aplicativo que está ocupado pode ignorar um pressionamento de tecla. Espere um pouco após cada ação, mantenha algumas capturas de tela recentes à vista e faça com que o agente repita uma ação que não teve efeito.

• Use o Tab somente onde for seguro. A tecla Tab funciona bem em campos de texto sem formatação. Clique nos campos em que o aplicativo reage quando um campo perde o foco, como campos com preenchimento automático, menus suspensos ou selecionadores de data.

• Switch, não reinicie. Para alternar entre aplicativos em execução, use a barra de tarefas ou o alternador de aplicativos. A reinicialização de um aplicativo adiciona etapas.

• Localize os controles na tela atual. As coordenadas copiadas de uma tela anterior ficam obsoletas quando uma janela se move. Use coordenadas fixas somente em um layout fixo e maximizado.

• Detecte ações que não mudam nada. Quando duas ações seguidas deixarem a tela inalterada, faça com que o agente mude a abordagem. Limite a rolagem repetida, para que uma execução não gaste seu orçamento de etapas em uma ação.

• Ações em lote com cuidado. Um lote mostra ao agente somente a tela após sua última ação, então finalize um lote na única tela que o agente precisa ler. Meça se o processamento em lotes economiza tempo em todo o seu fluxo de trabalho antes de confiar nele. Retorne erros de lote somente como texto, pois alguns modelos rejeitam um resultado de erro que inclui uma imagem.

Adapte-se à família de modelos

As famílias de modelos operam um desktop de forma diferente. Crie o ciclo de agentes uma vez e adapte a habilidade e as configurações para cada família. Uma habilidade ajustada para uma família geralmente precisa de correções antes de funcionar com outra.

• Envie uma nova captura de tela após cada alteração. Alguns modelos continuam atuando em uma captura de tela antiga sem sinalizar um problema. Anexe uma nova captura de tela após cada ação que altera a tela.

• Manipule as coordenadas explicitamente. Alguns modelos relatam coordenadas de pixels e outros relatam coordenadas em uma grade normalizada que você deve converter em pixels. Indique o tamanho da tela e o intervalo de coordenadas válido no prompt e verifique se cada clique está dentro da tela.

• Dimensione as capturas de tela do modelo. Combine a resolução da captura de tela com o limite de imagem do modelo. Se você reduzir a escala de uma captura de tela, redimensione novamente as coordenadas do modelo antes de clicar.

• Limpe os campos antes de digitar. Em alguns modelos, a digitação é anexada a um campo em vez de substituir seu valor. Focalize o campo, selecione tudo, exclua, digite uma vez e leia o valor novamente.

• Controle chamadas paralelas de ferramentas. Se um modelo enviar várias ações em uma mensagem, independentemente do prompt, desative as chamadas de ferramentas paralelas no cliente. Execute ações em lote em ordem e pare na primeira falha.

• Por padrão, mantenha o esforço de raciocínio baixo. Tarefas simples geralmente são bem-sucedidas com pouco esforço, e um esforço maior aumenta o custo sem melhorar a precisão. Aumente o esforço para tarefas ramificadas ou com várias etapas.

• Combine o comprimento do prompt com o modelo. Modelos mais fortes podem funcionar a partir de uma meta curta. Adicione regras somente quando um modelo precisar delas e reduza o prompt à medida que os modelos melhoram.

• Continue raciocinando entre os turnos. Se você chamar um modelo de raciocínio por meio de uma estrutura ou de uma API de compatibilidade, confirme se o raciocínio do modelo é transferido de um turno para o outro. Um laço que o solta pode parar.

• Compare o custo por tarefa concluída. Os modelos diferem em quantos tokens eles usam por etapa, portanto, o preço por token por si só não prevê o custo. Compare os modelos com a superfície da ferramenta que você planeja usar.

Habilidades e instruções de escrita

A habilidade, as instruções que você dá ao agente para um fluxo de trabalho, têm um grande efeito na precisão e no custo. Um prompt genérico mal projetado pode ter um desempenho pior do que nenhum prompt.

• Inclua algumas regras de trabalho. Por exemplo: lembre-se do que você leu, verifique antes de prosseguir, mude a abordagem após duas tentativas fracassadas e aguarde a resposta do aplicativo.

• Forneça fatos, não procedimentos. Os modelos atuais precisam de menos orientação passo a passo. Mantenha a habilidade curta e inclua os fatos que o agente não consegue descobrir, como caminhos de arquivo, formatos de campo e peculiaridades do aplicativo.

• Defina campos de alto valor. Indique o formato exato dos campos, como identificadores e números de conta, e peça ao agente que compare cada valor com esse formato antes de digitar.

• Torne a verificação obrigatória e direcionada. Os agentes podem inserir valores errados com total confiança, portanto, não deixe a verificação ao critério do agente. Verifique cada valor uma vez, logo após digitá-lo, e leia os poucos campos de alto valor antes de salvar. Uma nova verificação completa de cada campo adiciona etapas sem melhorar a precisão.

• Corrija os erros no local. Quando um valor está errado, peça ao agente que corrija esse campo em vez de limpar e redigitar todo o formulário.

• Entregue de forma limpa aos subagentes. Dê instruções completas a um subagente e solicite um relatório no final, em vez de verificar seu funcionamento à medida que avança.

• Melhore suas habilidades com suas próprias corridas. Analise as capturas de tela, as ações e o raciocínio de cada execução, altere uma regra por vez e mantenha uma alteração somente se cada execução ainda for bem-sucedida. Divida o fluxo de trabalho em marcos, para que você possa ver onde as execuções com falha param.

Gerencie o contexto e os custos

O custo depende principalmente do contexto que o modelo carrega e do número de etapas em uma execução. Cada chamada reenvia o histórico, então cada etapa extra custa mais do que a anterior. A maneira mais eficaz de reduzir os custos é escolher o modelo e a habilidade que concluem a tarefa no menor número de etapas.

• Redefinir o contexto entre as tarefas. Inicie cada tarefa independente a partir de um contexto limpo e de um estado de tela conhecido.

• Mantenha apenas capturas de tela recentes. Mantenha algumas capturas de tela recentes, como as três últimas, e substitua as imagens antigas por uma pequena nota de texto. Manter apenas uma captura de tela pode aumentar o custo, porque o agente volta para ver o que perdeu.

• Diga ao agente o que você remove. Explique que as capturas de tela mais antigas são removidas propositalmente e faça com que o agente registre cada valor em sua resposta enquanto o valor está na tela.

O cache imediato pode reduzir substancialmente os custos, mas somente quando você cria a carga com cuidado:

• Adicione apenas ao final da conversa. O armazenamento em cache corresponde à carga desde o início, portanto, uma edição em um turno anterior invalida o cache.

• Remova as capturas de tela antigas em lotes, não a cada turno, para que o prefixo em cache permaneça o mesmo entre as remoções.

• Não reconstrua a conversa a cada turno. Uma carga que muda a cada turno pode custar mais com o armazenamento em cache do que sem ele.

• Confirme se o cache está ativado. Os modelos têm um tamanho mínimo de prefixo para armazenamento em cache, e um prefixo menor não é armazenado em cache e não retorna um erro.

Avalie os resultados

• Faça testes suficientes. Os resultados variam entre execuções idênticas. Execute vários testes, relate a distribuição e use um teste estatístico, como um teste pareado, antes de concluir que uma versão é melhor.

• Calcule o custo de cada tipo de token. Inclua novas entradas, saídas, gravações em cache e leituras de cache. Os provedores relatam os tokens de cache de forma diferente, então verifique como cada um os conta. Relate os tokens junto com o custo.

• Relate o custo com a pontuação. Uma mudança pode manter a mesma taxa de sucesso, embora aumente o custo. Relate a taxa de sucesso, o custo e as etapas em conjunto e mantenha os custos de aprovação e reprovação separados.

• Defina o limite de etapas com cuidado. Defina o limite acima do que o fluxo de trabalho precisa e relate quantas execuções o atingiram. Uma execução que ficou sem etapas precisa de uma correção diferente de uma execução que produziu um resultado errado. Também defina limites de tempo e custo e suporte ao cancelamento.

• Mude uma coisa de cada vez. Mantenha todo o resto fixo, para que você possa ver o efeito de cada alteração.

• Classifique falhas por causa. Separe as falhas na leitura da tela das falhas na ação. Uma habilidade pode melhorar a forma como o agente age, mas não a capacidade de leitura do modelo. Antes de creditar uma regra com uma melhoria, verifique se o agente a seguiu.

• Avalie o resultado, não o relatório do agente. Verifique o registro salvo e a tela final com um avaliador automático que exige que todos os campos correspondam e inclua um controle negativo. Um agente pode denunciar uma tarefa como concluída quando ela não está concluída.

• Verifique sua configuração de teste. Erros no avaliador ou no ambiente podem parecer falhas do agente. Registre todas as solicitações, capturas de tela e ações para que você possa rastrear as execuções que falharam. Não publique resultados que você não possa reproduzir.

Supervisão e segurança

• Mantenha uma pessoa informada. Exija confirmação antes de ações consequentes ou difíceis de reverter, como pagamentos, exclusões ou envios. Trate a digitação de dados confidenciais em um formulário como o envio. Verifique a confirmação necessária antes de cada ação em um lote e localize o alvo novamente após a aprovação de uma pessoa, pois a tela pode ter mudado.

• Passe as perguntas do agente para uma pessoa. Alguns modelos param e solicitam a confirmação por conta própria, por exemplo, quando a tela sugere um sistema de produção. Certifique-se de que seu loop possa mostrar a pergunta para uma pessoa.

• Limite o que o agente pode alcançar. Execute o agente em um ambiente isolado com permissões mínimas. Mantenha as credenciais de login fora do alcance do agente sempre que possível e limite o acesso à Internet a uma lista de domínios permitidos.

• Trate o conteúdo na tela como não confiável. O texto em uma página ou em um documento não pode conceder permissões nem alterar a tarefa. Não permita que as instruções na tela redirecionem o agente.

• Mantenha o agente fora da web aberta. Coloque as informações de que o agente precisa na habilidade, em vez de fazer com que ele pesquise na web, onde ele pode encontrar CAPTCHAs e conteúdo não confiável.

Recursos relacionados

Os fornecedores de modelos publicam orientações sobre o uso do computador para seus modelos. Sua documentação atual descreve detalhes específicos do modelo, como tamanhos de tela compatíveis, sistemas de coordenadas e ferramentas.

• Ferramenta de uso do computador na documentação antrópica

• Uso do computador na documentação do OpenAI

• Uso do computador na documentação da API Gemini