Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich. # Bewährte Methoden für die Entwicklung und Evaluierung von Agenten zur Computernutzung Ein Agent, der Computer nutzt, arbeitet in einer Schleife: Er schaut auf den Bildschirm, handelt und schaut erneut. Die folgenden Methoden helfen Ihnen dabei, Agenten zu entwickeln, die Aufgaben zuverlässig, in weniger Schritten und zu geringeren Kosten erledigen. Sie gelten für alle Workflows und Modellfamilien. Die Ergebnisse variieren je nach Arbeitsablauf, Modell, Eingabeaufforderungen und Umgebung. Messen Sie daher jede Änderung anhand Ihrer eigenen Aufgaben. ## Entwerfen Sie die Aktionsschleife Die meiste Arbeit eines Agenten besteht darin, den Bildschirm zu lesen und zu tippen, nicht darauf, zwischen Fenstern hin und her zu wechseln. Reduzieren Sie Lesefehler und die Anzahl der Schritte, bevor Sie die Navigation optimieren. + **Geben Sie den Agententext anstelle von Pixeln ein**. Das Lesen exakter Werte wie Namen, E-Mail-Adressen und Kontonummern aus einem Screenshot ist eine häufige Fehlerquelle. Wenn die Daten eine Textkopie enthalten, stellen Sie diese mithilfe eines Tools bereit. Lassen Sie bei Werten in Tabellen oder Spalten auch den Agenten das Bild anzeigen, da eine Textebene Spalten durcheinander bringen kann. + **Stellen Sie die Anweisung vor den Screenshot**. Wenn der Agent etwas suchen und anklicken muss, platzieren Sie die Anweisung in der Anfrage vor dem Bild, damit der Agent weiß, wonach er suchen muss. + **Gehen Sie von einem bekannten Layout aus**. Maximieren Sie jede Anwendung mit einer Tastenkombination, bevor der Agent sie bearbeitet. Ein konsistentes Layout macht wiederholte Abläufe vorhersehbarer und reduziert das Scrollen. + **Bevorzugen Sie die Tastatur**. Verwenden Sie Tastenkombinationen, um zu blättern, Fenster zu maximieren und Menüs zu öffnen, insbesondere bei kleinen oder schwer zu bedienenden Steuerelementen. Tastenkombinationen hängen nicht davon ab, ob sich ein Steuerelement auf dem Bildschirm befindet. + **Bestätigen Sie jede Aktion**. Eine Anwendung, die ausgelastet ist, kann einen Tastendruck ignorieren. Warten Sie nach jeder Aktion kurz, behalten Sie einige aktuelle Screenshots im Blick und lassen Sie den Agenten eine Aktion wiederholen, die keine Wirkung hatte. + **Verwenden Sie Tab nur dort, wo es sicher ist**. Die Tabulatortaste funktioniert gut in Klartextfeldern. Klicken Sie in Felder, auf die die Anwendung reagiert, wenn ein Feld den Fokus verliert, z. B. Felder mit automatischem Ausfüllen, Dropdownlisten oder Datumsauswahlfunktionen. + **Wechseln Sie, starten Sie nicht neu**. Verwenden Sie die Taskleiste oder den Anwendungsumschalter, um zwischen laufenden Anwendungen zu wechseln. Beim Neustarten einer Anwendung werden weitere Schritte hinzugefügt. + **Suchen Sie die Steuerelemente auf dem aktuellen Bildschirm**. Koordinaten, die von einem früheren Bildschirm kopiert wurden, werden veraltet, wenn sich ein Fenster bewegt. Verwenden Sie feste Koordinaten nur in einem maximierten, festen Layout. + **Erkennen Sie Aktionen, die nichts ändern**. Lassen Sie den Agenten wechseln, wenn der Bildschirm bei zwei aufeinanderfolgenden Aktionen unverändert bleibt. Beschränken Sie das wiederholte Scrollen, damit ein Lauf sein Schrittbudget nicht für eine Aktion ausgibt. + **Stapeln Sie Aktionen mit Bedacht**. Ein Batch zeigt dem Agenten nur den Bildschirm nach seiner letzten Aktion. Beenden Sie einen Batch also auf dem Bildschirm, den der Agent lesen muss. Messen Sie, ob die Stapelverarbeitung bei Ihrem gesamten Arbeitsablauf Zeit spart, bevor Sie sich darauf verlassen. Geben Sie Stapelfehler nur als Text zurück, da einige Modelle ein Fehlerergebnis ablehnen, das ein Bild enthält. ## Passen Sie sich der Modellfamilie an Modellfamilien funktionieren auf einem Desktop anders. Erstellen Sie den Agenten-Loop einmal und passen Sie den Skill und die Einstellungen für jede Familie an. Ein für eine Familie optimierter Skill muss in der Regel korrigiert werden, bevor er mit einer anderen funktioniert. + **Sende nach jeder Änderung einen neuen Screenshot**. Einige Modelle reagieren weiterhin auf einen alten Screenshot, ohne ein Problem zu signalisieren. Hängen Sie nach jeder Aktion, die den Bildschirm verändert, einen neuen Screenshot an. + **Behandeln Sie Koordinaten explizit**. Einige Modelle melden Pixelkoordinaten, und andere melden Koordinaten in einem normalisierten Raster, das Sie in Pixel umwandeln müssen. Geben Sie in der Eingabeaufforderung die Bildschirmgröße und den gültigen Koordinatenbereich an und überprüfen Sie, ob sich jeder Klick innerhalb des Bildschirms befindet. + **Passen Sie die Größe der Screenshots an das Modell an**. Passen Sie die Auflösung des Screenshots an das Bildlimit des Modells an. Wenn Sie einen Screenshot verkleinern, skalieren Sie die Koordinaten des Modells wieder nach oben, bevor Sie klicken. + **Löschen Sie die Felder vor der Eingabe**. Bei einigen Modellen wird die Eingabe an ein Feld angehängt, anstatt seinen Wert zu ersetzen. Fokussieren Sie das Feld, wählen Sie alles aus, löschen Sie es, geben Sie einmal ein und lesen Sie den Wert zurück. + **Steuern Sie parallele Tool-Aufrufe**. Wenn ein Modell unabhängig von der Aufforderung mehrere Aktionen in einer Nachricht sendet, deaktivieren Sie parallele Tool-Aufrufe im Client. Führen Sie gebündelte Aktionen der Reihe nach aus und brechen Sie beim ersten Fehler ab. + **Halten Sie den Argumentationsaufwand standardmäßig gering**. Einfache Aufgaben sind oft mit geringem Aufwand erfolgreich, und ein höherer Aufwand erhöht die Kosten, ohne die Genauigkeit zu verbessern. Erhöhen Sie den Aufwand für verzweigte oder mehrstufige Aufgaben. + **Passen Sie die Länge der Eingabeaufforderung an das Modell an**. Stärkere Modelle können von einem kurzen Ziel aus arbeiten. Fügen Sie Regeln nur dort hinzu, wo ein Modell sie benötigt, und verkürzen Sie die Eingabeaufforderung, wenn sich die Modelle verbessern. + **Denken Sie zwischen den Runden weiter**. Wenn Sie ein Argumentationsmodell über ein Framework oder eine Kompatibilitäts-API aufrufen, stellen Sie sicher, dass die Argumentation des Modells von einer Runde zur nächsten übertragen wird. Eine Schlaufe, die sie fallen lässt, kann zum Stillstand kommen. + **Vergleichen Sie die Kosten pro abgeschlossener Aufgabe**. Die Modelle unterscheiden sich darin, wie viele Token sie pro Schritt verwenden, sodass der Preis pro Token allein die Kosten nicht vorhersagt. Vergleichen Sie Modelle mit der Werkzeugoberfläche, die Sie verwenden möchten. ## Schreiben Sie Fähigkeiten und Aufforderungen auf Die Fertigkeit, also die Anweisungen, die Sie dem Agenten für einen Arbeitsablauf geben, hat einen großen Einfluss auf die Genauigkeit und die Kosten. Ein schlecht gestalteter generischer Prompt kann schlechter abschneiden als gar kein Prompt. + **Fügen Sie ein paar Arbeitsregeln hinzu**. Zum Beispiel: Merken Sie sich, was Sie gelesen haben, überprüfen Sie, bevor Sie fortfahren, ändern Sie die Vorgehensweise nach zwei fehlgeschlagenen Versuchen und warten Sie, bis die Anwendung reagiert. + **Nennen Sie Fakten, keine Verfahren**. Aktuelle Modelle benötigen weniger schrittweise Anleitungen. Halten Sie sich kurz und beziehen Sie die Fakten ein, die der Agent nicht erkennen kann, wie Dateipfade, Feldformate und Anwendungsfehler. + **Definieren Sie Felder mit hohem Wert**. Geben Sie das genaue Format von Feldern wie Identifikatoren und Kontonummern an und lassen Sie den Agenten jeden Wert vor der Eingabe anhand dieses Formats überprüfen. + **Machen Sie die Überprüfung erforderlich und zielgerichtet**. Agenten können mit voller Sicherheit falsche Werte eingeben. Überlassen Sie die Überprüfung daher nicht dem Urteil des Agenten. Überprüfen Sie jeden Wert einmal, direkt nach der Eingabe, und lesen Sie die wenigen Felder mit hohem Wert noch einmal durch, bevor Sie ihn speichern. Bei einer vollständigen erneuten Überprüfung jedes Feldes werden Schritte hinzugefügt, ohne die Genauigkeit zu verbessern. + **Korrigieren Sie Fehler an Ort und Stelle**. Wenn ein Wert falsch ist, lassen Sie den Agenten dieses Feld korrigieren, anstatt das gesamte Formular zu löschen und erneut einzugeben. + **Übergeben Sie es sauber an Unteragenten**. Geben Sie einem Subagenten vollständige Anweisungen und fordern Sie am Ende einen Bericht an, anstatt seine Arbeit im Hintergrund zu überprüfen. + **Verbessern Sie die Fähigkeiten Ihrer eigenen Läufe**. Überprüfe die Screenshots, Aktionen und Überlegungen zu jedem Durchlauf, ändere eine Regel nach der anderen und behalte Änderungen nur bei, wenn jeder Lauf trotzdem erfolgreich ist. Unterteilen Sie den Workflow in Meilensteine, sodass Sie sehen können, wo fehlgeschlagene Läufe enden. ## Verwalte den Kontext und die Kosten Die Kosten hängen hauptsächlich vom Kontext des Modells und von der Anzahl der Schritte in einem Durchlauf ab. Bei jedem Aufruf wird der Verlauf erneut gesendet, sodass jeder zusätzliche Schritt mehr kostet als der letzte. Der effektivste Weg, die Kosten zu senken, besteht darin, das Modell und die Fertigkeit auszuwählen, mit denen die Aufgabe in den wenigsten Schritten abgeschlossen wird. + **Stellen Sie den Kontext zwischen Aufgaben wieder her**. Starten Sie jede unabhängige Aufgabe in einem sauberen Kontext und einem bekannten Bildschirmstatus. + **Bewahren Sie nur aktuelle Screenshots auf**. Behalte ein paar aktuelle Screenshots, wie die letzten drei, und ersetze ältere Bilder durch eine kurze Textnotiz. Wenn Sie nur einen Screenshot behalten, kann dies die Kosten erhöhen, da der Agent zurückscrollt, um zu sehen, was er verloren hat. + **Teilen Sie dem Agenten mit, was Sie entfernen**. Erklären Sie, dass ältere Screenshots absichtlich entfernt wurden, und lassen Sie den Agenten jeden Wert in seiner Antwort aufzeichnen, solange der Wert auf dem Bildschirm angezeigt wird. Prompt-Caching kann die Kosten erheblich senken, aber nur, wenn Sie die Payload sorgfältig erstellen: + Nur am Ende der Konversation hinzufügen. Das Caching entspricht von Anfang an der Payload, sodass eine Bearbeitung an einem früheren Spielzug den Cache ungültig macht. + Entferne alte Screenshots stapelweise, nicht bei jedem Spielzug, sodass das zwischengespeicherte Präfix zwischen den Löschungen gleich bleibt. + Baue die Konversation nicht bei jeder Runde neu auf. Eine Nutzlast, die sich bei jeder Runde ändert, kann beim Caching mehr kosten als ohne. + Vergewissere dich, dass das Caching aktiviert ist. Modelle haben eine Mindestpräfixgröße für das Caching, und ein kleineres Präfix wird nicht zwischengespeichert und gibt keinen Fehler zurück. ## Ergebnisse messen + **Führen Sie genügend Versuche durch**. Die Ergebnisse variieren zwischen identischen Durchläufen. Führen Sie viele Versuche durch, melden Sie die Streubreite und verwenden Sie einen statistischen Test, z. B. einen kombinierten Test, bevor Sie zu dem Schluss kommen, dass eine Version besser ist. + **Berechnen Sie die Kosten für jeden Tokentyp**. Schließt neue Eingaben, Ausgaben, Cache-Schreibvorgänge und Cache-Lesevorgänge ein. Anbieter melden Cache-Token unterschiedlich, also überprüfe, wie sie bei jedem einzelnen Zähler gezählt werden. Melde Tokens zusammen mit den Kosten. + **Melde die Kosten zusammen mit der Punktzahl**. Eine Änderung kann die gleiche Erfolgsquote beibehalten, obwohl sie die Kosten erhöht. Geben Sie die Erfolgsquote, die Kosten und die Schritte zusammen an und halten Sie die Kosten für bestandene und fehlgeschlagene Läufe getrennt. + **Lege das Schrittlimit mit Bedacht fest**. Legen Sie das Limit fest, das über den Anforderungen des Workflows liegt, und geben Sie an, wie viele Durchläufe ihn erreicht haben. Bei einer Ausführung, bei der die Schritte ausgegangen sind, muss eine andere Korrektur vorgenommen werden als bei einer Ausführung, bei der ein falsches Ergebnis erzielt wurde. Legen Sie außerdem Zeit- und Kostenlimits fest und unterstützen Sie die Kündigung. + **Ändere eine Sache nach der anderen**. Halte alles andere fest, damit du die Auswirkungen jeder Änderung sehen kannst. + **Sortiere Fehler nach Ursache**. Trennen Sie Fehler beim Lesen des Bildschirms von Fehlverhalten. Eine Fertigkeit kann das Verhalten des Agenten verbessern, nicht aber die Lesbarkeit des Modells. Bevor Sie einer Regel eine Verbesserung zuschreiben, sollten Sie überprüfen, ob der Agent sie befolgt hat. + **Bewerten Sie das Ergebnis, nicht den Bericht des Agenten**. Überprüfen Sie den gespeicherten Datensatz und den letzten Bildschirm mit einem automatischen Evaluator, der verlangt, dass jedes Feld übereinstimmt und eine Negativkontrolle enthält. Ein Agent kann eine Aufgabe als abgeschlossen melden, wenn dies nicht der Fall ist. + **Überprüfen Sie Ihr Test-Setup**. Fehler im Evaluator oder in der Umgebung können wie Agentenausfälle aussehen. Protokollieren Sie alle Eingabeaufforderungen, Screenshots und Aktionen, damit Sie fehlgeschlagene Ausführungen nachvollziehen können. Veröffentlichen Sie keine Ergebnisse, die Sie nicht reproduzieren können. ## Aufsicht und Sicherheit + **Halten Sie eine Person auf dem Laufenden**. Vor Folgemaßnahmen oder schwer rückgängig zu machenden Maßnahmen wie Zahlungen, Löschungen oder Eingaben ist eine Bestätigung erforderlich. Behandeln Sie das Eingeben sensibler Daten in ein Formular wie das Senden. Prüfen Sie vor jeder Aktion in einem Stapel, ob die erforderliche Bestätigung erforderlich ist, und suchen Sie das Ziel erneut, nachdem eine Person zustimmt, da sich der Bildschirm möglicherweise geändert hat. + **Geben Sie die Fragen des Agenten an eine Person weiter**. Einige Modelle halten an und fragen von selbst nach einer Bestätigung, beispielsweise wenn auf dem Bildschirm ein Produktionssystem vorgeschlagen wird. Vergewissern Sie sich, dass Ihr Loop die Frage einer Person zeigen kann. + **Beschränken Sie, was der Agent erreichen kann**. Führen Sie den Agenten in einer isolierten Umgebung mit minimalen Berechtigungen aus. Bewahren Sie die Anmeldedaten möglichst außerhalb der Reichweite des Agenten auf und beschränken Sie den Internetzugriff auf eine Liste zugelassener Domänen. + **Behandeln Sie Bildschirminhalte als nicht vertrauenswürdig**. Text auf einer Seite oder in einem Dokument kann keine Berechtigungen gewähren oder die Aufgabe ändern. Lassen Sie den Agenten nicht durch Anweisungen auf dem Bildschirm umleiten. + **Halten Sie den Agenten vom offenen Internet fern**. Fügen Sie die Informationen, die der Agent benötigt, in den Skill ein, anstatt ihn das Internet durchsuchen zu lassen, wo er auf CAPTCHAs und nicht vertrauenswürdige Inhalte stoßen kann. ## Zugehörige Ressourcen Modellanbieter veröffentlichen Anleitungen zur Computernutzung für ihre Modelle. In ihrer aktuellen Dokumentation werden modellspezifische Details wie unterstützte Bildschirmgrößen, Koordinatensysteme und Werkzeuge beschrieben. + [Tool zur Verwendung am Computer](https://platform.claude.com/docs/en/agents-and-tools/tool-use/computer-use-tool) in der anthropischen Dokumentation + [Nutzung des Computers](https://developers.openai.com/api/docs/guides/tools-computer-use) in der OpenAI-Dokumentation + [Nutzung des Computers](https://ai.google.dev/gemini-api/docs/computer-use) in der Gemini-API-Dokumentation