Mejores prácticas para crear y evaluar agentes de uso de computadoras

Un agente de uso de ordenadores funciona en bucle: mira la pantalla, actúa y vuelve a mirar. Las siguientes prácticas lo ayudan a crear agentes que completen las tareas de manera confiable, en menos pasos y a un costo menor. Se aplican a todos los flujos de trabajo y familias de modelos. Los resultados varían según el flujo de trabajo, el modelo, las solicitudes y el entorno, así que mida cada cambio en sus propias tareas.

Diseñe el ciclo de acción

La mayor parte del esfuerzo de un agente consiste en leer la pantalla y escribir, no en moverse de una ventana a otra. Reduzca los errores de lectura y el número de pasos antes de ajustar la navegación.

• Proporcione al agente texto en lugar de píxeles. La lectura de valores exactos, como nombres, direcciones de correo electrónico y números de cuenta, a partir de una captura de pantalla es una fuente habitual de errores. Cuando los datos tengan una copia de texto, envíela a través de una herramienta. En el caso de los valores de tablas o columnas, pídale también al agente que vea la imagen, ya que una capa de texto puede mezclar columnas.

• Pon la instrucción antes de la captura de pantalla. Cuando el agente deba encontrar algo y hacer clic en él, coloque la instrucción delante de la imagen de la solicitud para que el agente sepa qué buscar.

• Empieza desde un diseño conocido. Maximice cada aplicación con un método abreviado de teclado antes de que el agente trabaje en ella. Un diseño uniforme hace que los flujos repetidos sean más predecibles y reduce el desplazamiento.

• ¿Prefieres el teclado. Usa los métodos abreviados de teclado para desplazarte, maximizar las ventanas y abrir los menús, especialmente para los controles pequeños o difíciles de tocar. Los métodos abreviados no dependen de la ubicación de un control en la pantalla.

• Confirma cada acción. Una aplicación que está ocupada puede ignorar la pulsación de una tecla. Espere un momento después de cada acción, tenga a la vista algunas capturas de pantalla recientes y pida al agente que repita una acción que no haya tenido ningún efecto.

• Usa Tab solo cuando sea seguro. La tecla Tab funciona bien en los campos de texto sin formato. Haz clic en los campos en los que la aplicación reacciona cuando un campo pierde el foco, como los campos con función de relleno automático, menús desplegables o selectores de fecha.

• Cambia, no lo vuelvas a iniciar. Para moverse entre las aplicaciones en ejecución, utilice la barra de tareas o el conmutador de aplicaciones. Al volver a iniciar una aplicación, se añaden pasos.

• Ubique los controles en la pantalla actual. Las coordenadas copiadas de una pantalla anterior se vuelven obsoletas cuando se mueve una ventana. Utilice coordenadas fijas solo en un diseño fijo y maximizado.

• Detecta acciones que no cambian nada. Cuando dos acciones seguidas dejen la pantalla sin cambios, pida al agente que cambie de enfoque. Limita el desplazamiento repetido para que una tirada no gaste su presupuesto de pasos en una sola acción.

• Agrupa las acciones con cuidado. Un lote muestra al agente solo la pantalla después de su última acción, así que finalice el lote en la única pantalla que el agente necesita leer. Antes de confiar en ello, compruebe si el procesamiento por lotes ahorra tiempo en todo su flujo de trabajo. Devuelve los errores de lote solo como texto, ya que algunos modelos rechazan un resultado de error que incluye una imagen.

Adáptese a la familia de modelos

Las familias de modelos funcionan en un escritorio de forma diferente. Cree el ciclo de agentes una vez y adapte la habilidad y la configuración para cada familia. Una habilidad adaptada a una familia normalmente necesita correcciones antes de que funcione con otra.

• Envía una captura de pantalla nueva después de cada cambio. Algunos modelos siguen actuando sobre una captura de pantalla antigua sin indicar ningún problema. Adjunta una nueva captura de pantalla después de cada acción que modifique la pantalla.

• Maneje las coordenadas de forma explícita. Algunos modelos muestran las coordenadas de los píxeles y otros muestran las coordenadas de una cuadrícula normalizada que debe convertir en píxeles. Indique el tamaño de la pantalla y el rango de coordenadas válido en la solicitud y compruebe que cada clic esté dentro de la pantalla.

• Ajuste el tamaño de las capturas de pantalla al modelo. Haga coincidir la resolución de la captura de pantalla con el límite de imágenes de la modelo. Si reduces la escala de una captura de pantalla, vuelve a escalar las coordenadas del modelo antes de hacer clic.

• Borra los campos antes de escribir. En algunos modelos, la escritura se añade a un campo en lugar de reemplazar su valor. Enfóquese en el campo, selecciónelo todo, elimínelo, escríbalo una vez y vuelva a leer el valor.

• Controle las llamadas paralelas a las herramientas. Si un modelo envía varias acciones en un mensaje independientemente de la solicitud, desactive las llamadas paralelas a las herramientas en el cliente. Ejecute las acciones por lotes en orden y deténgalas en el primer error.

• Mantenga el esfuerzo de razonamiento bajo de forma predeterminada. Las tareas sencillas suelen tener éxito con poco esfuerzo, y un mayor esfuerzo añade costes sin mejorar la precisión. Incremente el esfuerzo para realizar tareas ramificadas o de varios pasos.

• Haga coincidir la longitud de la línea con el modelo. Los modelos más sólidos pueden funcionar a partir de una meta corta. Agregue reglas solo cuando un modelo las necesite y acorte el proceso a medida que los modelos mejoren.

• Siga razonando entre turnos. Si llamas a un modelo de razonamiento a través de un marco o una API de compatibilidad, confirma que el razonamiento del modelo se lleva de un turno a otro. Un bucle que lo interrumpe puede paralizarse.

• Compare el costo por tarea finalizada. Los modelos difieren en la cantidad de fichas que utilizan por paso, por lo que el precio por ficha por sí solo no predice el coste. Compare los modelos con la superficie de la herramienta que piensa utilizar.

Escriba habilidades e indicaciones

La habilidad, es decir, las instrucciones que se dan al agente para un flujo de trabajo, tiene un gran efecto en la precisión y el costo. Una solicitud genérica mal diseñada puede funcionar peor que no tener ninguna solicitud.

• Incluye algunas reglas de trabajo. Por ejemplo: recuerda lo que has leído, compruébalo antes de continuar, cambia de enfoque después de dos intentos fallidos y espera a que la aplicación responda.

• Indique los hechos, no los procedimientos. Los modelos actuales necesitan menos orientación paso a paso. Sea breve e incluya los datos que el agente no pueda descubrir, como las rutas de los archivos, los formatos de campo y las peculiaridades de las aplicaciones.

• Defina campos de alto valor. Indique el formato exacto de los campos, como los identificadores y los números de cuenta, y pida al agente que compruebe cada valor con ese formato antes de escribir.

• Haga que la verificación sea obligatoria y específica. Los agentes pueden introducir valores incorrectos con total confianza, así que no dejes la verificación al criterio del agente. Comprueba cada valor una vez, justo después de escribirlo, y vuelve a leer los pocos campos con valores altos antes de guardarlos. Una nueva comprobación completa de cada campo añade pasos sin mejorar la precisión.

• Corrija los errores en su lugar. Si un valor es incorrecto, pida al agente que corrija ese campo en lugar de borrar y volver a escribir todo el formulario.

• Entréguelo limpiamente a los subagentes. Da instrucciones completas al subagente y pide un informe al final, en lugar de comprobar su trabajo sobre la marcha.

• Mejora tus habilidades con tus propias carreras. Revisa las capturas de pantalla, las acciones y el razonamiento de cada ejecución, cambia una regla a la vez y mantén un cambio solo si todas las ejecuciones siguen teniendo éxito. Divida el flujo de trabajo en hitos, de modo que pueda ver dónde se detienen las ejecuciones fallidas.

Gestione el contexto y los costos

El costo depende principalmente del contexto en el que se encuentre el modelo y del número de pasos de una ejecución. Cada llamada reenvía el historial, por lo que cada paso adicional cuesta más que el anterior. La forma más eficaz de reducir los costos es elegir el modelo y la habilidad que terminen la tarea en el menor número de pasos.

• Restablece el contexto entre las tareas. Inicie cada tarea independiente desde un contexto limpio y un estado de pantalla conocido.

• Conserve solo las capturas de pantalla recientes. Conserve algunas capturas de pantalla recientes, como las tres últimas, y sustituya las imágenes antiguas por una breve nota de texto. Conservar solo una captura de pantalla puede aumentar el coste, ya que el agente se desplaza hacia atrás para ver lo que ha perdido.

• Dígale al agente lo que va a eliminar. Explica que las capturas de pantalla antiguas se eliminan a propósito y pide al agente que registre cada valor en su respuesta mientras el valor esté en la pantalla.

El almacenamiento rápido en caché puede reducir considerablemente los costos, pero solo si construyes la carga útil con cuidado:

• Añádelo solo al final de la conversación. El almacenamiento en caché coincide con la carga útil desde el principio, por lo que si se edita en un turno anterior, se invalida la caché.

• Elimina las capturas de pantalla antiguas por lotes, no por turnos, para que el prefijo almacenado en caché permanezca igual entre eliminaciones.

• No reconstruyas la conversación en cada turno. Una carga útil que cambia cada turno puede costar más con el almacenamiento en caché que sin ella.

• Confirma que el almacenamiento en caché esté activado. Los modelos tienen un tamaño de prefijo mínimo para el almacenamiento en caché, y un prefijo más pequeño no se almacena en caché y no devuelve ningún error.

Mide los resultados

• Realice suficientes ensayos. Los resultados varían entre ejecuciones idénticas. Realice muchas pruebas, informe sobre la dispersión y utilice una prueba estadística, como una prueba pareada, antes de concluir que una versión es mejor.

• Calcula el costo de cada tipo de token. Incluya entradas, salidas, escrituras en caché y lecturas de caché nuevas. Los proveedores informan de los tokens de caché de forma diferente, así que comprueba cómo los cuenta cada uno. Reporta los tokens junto con el costo.

• Informe el costo con la puntuación. Un cambio puede mantener la misma tasa de éxito, aunque aumenta el costo. Indique la tasa de éxito, el costo y los pasos tomados en conjunto, y separe el costo de las carreras aprobadas y las fallidas.

• Establezca el límite de pasos con cuidado. Establezca el límite por encima de lo que necesita el flujo de trabajo e informe cuántas ejecuciones lo alcanzaron. Una ejecución que se quedó sin pasos necesita una corrección diferente a la de una ejecución que produjo un resultado incorrecto. También establece límites de tiempo y costo, y admite la cancelación.

• Cambia una cosa a la vez. Mantén todo lo demás fijo para que puedas ver el efecto de cada cambio.

• Ordena los errores por causa. Separe las fallas en la lectura de la pantalla de las fallas en la acción. Una habilidad puede mejorar la forma en que actúa el agente, pero no la calidad de lectura del modelo. Antes de atribuir una mejora a una regla, compruebe que el agente la ha seguido.

• Califica el resultado, no el informe del agente. Comprueba el registro guardado y la pantalla final con un evaluador automático que requiere que todos los campos coincidan e incluya un control negativo. Un agente puede declarar que una tarea está finalizada cuando no lo está.

• Comprueba la configuración de la prueba. Los errores en el evaluador o en el entorno pueden parecerse a errores de un agente. Registre cada solicitud, captura de pantalla y acción para poder rastrear las ejecuciones fallidas. No publiques resultados que no puedas reproducir.

Supervisión y seguridad

• Mantenga a una persona al tanto. Exija la confirmación antes de tomar medidas consecuentes o difíciles de anular, como los pagos, las eliminaciones o los envíos. Trata la escritura de datos confidenciales en un formulario como si los enviaras. Comprueba la confirmación necesaria antes de cada acción de un lote y vuelve a localizar el objetivo cuando una persona lo apruebe, ya que es posible que la pantalla haya cambiado.

• Transmita las preguntas del agente a una persona. Algunos modelos se detienen y solicitan la confirmación por sí solos, por ejemplo, cuando la pantalla sugiere un sistema de producción. Asegúrate de que tu bucle pueda mostrar la pregunta a una persona.

• Limita lo que el agente puede alcanzar. Ejecute el agente en un entorno aislado con permisos mínimos. Mantenga las credenciales de inicio de sesión fuera del alcance del agente siempre que sea posible y limite el acceso a Internet a una lista de dominios permitidos.

• Trate el contenido en pantalla como si no fuera de confianza. El texto de una página o de un documento no puede conceder permisos ni cambiar la tarea. No permitas que las instrucciones de la pantalla redirijan al agente.

• Mantén al agente alejado de la web abierta. Incluya la información que el agente necesita en la habilidad, en lugar de hacer que busque en Internet, donde puede encontrar CAPTCHA y contenido que no es de confianza.

Recursos relacionados

Los proveedores de modelos publican directrices sobre el uso de ordenadores para sus modelos. Su documentación actual describe detalles específicos del modelo, como los tamaños de pantalla compatibles, los sistemas de coordenadas y las herramientas.

• Herramienta de uso de computadoras en la documentación de Anthropic

• Uso del ordenador en la documentación de OpenAI

• Uso del ordenador en la documentación de la API de Gemini