Praktik terbaik untuk membangun dan mengevaluasi agen penggunaan komputer

Agen penggunaan komputer bekerja dalam satu lingkaran: ia melihat layar, bertindak, dan melihat lagi. Praktik berikut membantu Anda membangun agen yang menyelesaikan tugas dengan andal, dalam langkah yang lebih sedikit, dan dengan biaya lebih rendah. Mereka berlaku di seluruh alur kerja dan keluarga model. Hasilnya bervariasi dengan alur kerja, model, petunjuk, dan lingkungan Anda, jadi ukur setiap perubahan pada tugas Anda sendiri.

Rancang loop aksi

Sebagian besar upaya agen dilakukan untuk membaca layar dan mengetik, bukan bergerak di antara jendela. Kurangi kesalahan membaca dan jumlah langkah sebelum Anda menyetel navigasi.

• Berikan teks agen alih-alih piksel. Membaca nilai yang tepat, seperti nama, alamat email, dan nomor akun, dari tangkapan layar adalah sumber kesalahan umum. Ketika data memiliki salinan teks, berikan melalui alat. Untuk nilai dalam tabel atau kolom, mintalah agen juga melihat gambar, karena lapisan teks dapat mencampur kolom.

• Letakkan instruksi sebelum tangkapan layar. Ketika agen harus menemukan dan mengklik sesuatu, letakkan instruksi di depan gambar dalam permintaan, sehingga agen tahu apa yang harus dicari.

• Mulai dari tata letak yang dikenal. Maksimalkan setiap aplikasi dengan pintasan keyboard sebelum agen bekerja di dalamnya. Tata letak yang konsisten membuat aliran berulang lebih dapat diprediksi dan mengurangi pengguliran.

• Lebih suka keyboard. Gunakan pintasan keyboard untuk menggulir, memaksimalkan jendela, dan membuka menu, terutama untuk kontrol kecil atau sulit dipukul. Pintasan tidak bergantung pada menemukan kontrol di layar.

• Konfirmasikan setiap tindakan. Aplikasi yang sibuk dapat mengabaikan penekanan tombol. Tunggu sebentar setelah setiap tindakan, simpan beberapa tangkapan layar terbaru, dan minta agen mengulangi tindakan yang tidak berpengaruh.

• Gunakan Tab hanya di tempat yang aman. Tombol Tab bekerja dengan baik di bidang teks biasa. Klik ke bidang tempat aplikasi bereaksi ketika bidang kehilangan fokus, seperti bidang dengan pengisian otomatis, dropdown, atau pemilih tanggal.

• Beralih, jangan luncurkan kembali. Untuk berpindah di antara aplikasi yang sedang berjalan, gunakan bilah tugas atau pengalih aplikasi. Meluncurkan kembali aplikasi menambahkan langkah-langkah.

• Temukan kontrol di layar saat ini. Koordinat yang disalin dari layar sebelumnya menjadi basi saat jendela bergerak. Gunakan koordinat tetap hanya dalam tata letak yang dimaksimalkan dan tetap.

• Mendeteksi tindakan yang tidak mengubah apa pun. Ketika dua tindakan berturut-turut membuat layar tidak berubah, mintalah pendekatan perubahan agen. Batasi pengguliran berulang, sehingga proses tidak menghabiskan anggaran langkahnya untuk satu tindakan.

• Tindakan batch dengan hati-hati. Batch menunjukkan agen hanya layar setelah tindakan terakhirnya, jadi akhiri batch pada satu layar yang perlu dibaca agen. Ukur apakah batching menghemat waktu pada alur kerja penuh Anda sebelum Anda mengandalkannya. Kembalikan kesalahan batch sebagai teks saja, karena beberapa model menolak hasil kesalahan yang menyertakan gambar.

Beradaptasi dengan keluarga model

Keluarga model mengoperasikan desktop secara berbeda. Bangun loop agen sekali, dan sesuaikan keterampilan dan pengaturan untuk setiap keluarga. Keterampilan yang disetel untuk satu keluarga biasanya membutuhkan koreksi sebelum bekerja dengan yang lain.

• Kirim tangkapan layar baru setelah setiap perubahan. Beberapa model terus bertindak pada tangkapan layar lama tanpa menandakan masalah. Lampirkan tangkapan layar baru setelah setiap tindakan yang mengubah layar.

• Menangani koordinat secara eksplisit. Beberapa model melaporkan koordinat piksel, dan yang lain melaporkan koordinat pada grid yang dinormalisasi yang harus Anda konversi ke piksel. Nyatakan ukuran layar dan rentang koordinat yang valid dalam prompt, dan periksa apakah setiap klik ada di dalam layar.

• Ukuran tangkapan layar ke model. Cocokkan resolusi tangkapan layar dengan batas gambar model. Jika Anda menurunkan skala tangkapan layar, skala kembali koordinat model sebelum Anda mengklik.

• Kosongkan bidang sebelum mengetik. Pada beberapa model, mengetik ditambahkan ke bidang alih-alih mengganti nilainya. Fokuskan bidang, pilih semua, hapus, ketik sekali, dan baca kembali nilainya.

• Kontrol panggilan alat paralel. Jika model mengirim beberapa tindakan dalam satu pesan terlepas dari prompt, matikan panggilan alat paralel di klien. Jalankan tindakan batch secara berurutan dan berhenti pada kegagalan pertama.

• Pertahankan upaya penalaran tetap rendah secara default. Tugas sederhana sering berhasil dengan usaha rendah, dan upaya yang lebih tinggi menambah biaya tanpa meningkatkan akurasi. Tingkatkan upaya untuk tugas percabangan atau multi-langkah.

• Cocokkan panjang prompt dengan model. Model yang lebih kuat dapat bekerja dari tujuan pendek. Tambahkan aturan hanya jika model membutuhkannya, dan persingkat prompt saat model meningkat.

• Terus bernalar di antara belokan. Jika Anda memanggil model penalaran melalui kerangka kerja atau API kompatibilitas, konfirmasikan bahwa penalaran model dibawa dari satu belokan ke belokan berikutnya. Lingkaran yang menjatuhkannya bisa berhenti.

• Bandingkan biaya per tugas yang sudah selesai. Model berbeda dalam berapa banyak token yang mereka gunakan per langkah, jadi harga per token saja tidak memprediksi biaya. Bandingkan model dengan permukaan alat yang Anda rencanakan untuk digunakan.

Keterampilan menulis dan petunjuk

Keterampilan, instruksi yang Anda berikan kepada agen untuk alur kerja, memiliki efek besar pada akurasi dan biaya. Prompt generik yang dirancang dengan buruk dapat berkinerja lebih buruk daripada tidak ada prompt sama sekali.

• Sertakan beberapa aturan kerja. Misalnya: ingat apa yang Anda baca, verifikasi sebelum melanjutkan, ubah pendekatan setelah dua upaya gagal, dan tunggu aplikasi merespons.

• Berikan fakta, bukan prosedur. Model saat ini membutuhkan lebih sedikit panduan langkah demi langkah. Jaga agar keterampilan tetap singkat, dan sertakan fakta-fakta yang tidak dapat ditemukan agen, seperti jalur file, format bidang, dan kebiasaan aplikasi.

• Tentukan bidang bernilai tinggi. Nyatakan format yang tepat dari bidang seperti pengidentifikasi dan nomor akun, dan minta agen memeriksa setiap nilai terhadap format itu sebelum mengetik.

• Jadikan verifikasi diperlukan dan ditargetkan. Agen dapat memasukkan nilai yang salah dengan keyakinan penuh, jadi jangan serahkan verifikasi kepada penilaian agen. Periksa setiap nilai sekali, tepat setelah mengetiknya, dan baca kembali beberapa bidang bernilai tinggi sebelum menyimpan. Pemeriksaan ulang penuh dari setiap bidang menambahkan langkah-langkah tanpa meningkatkan akurasi.

• Perbaiki kesalahan di tempat. Ketika nilai salah, mintalah agen memperbaiki bidang itu alih-alih menghapus dan mengetik ulang seluruh formulir.

• Serahkan bersih ke sub-agen. Berikan instruksi lengkap kepada sub-agen dan minta laporan di akhir, alih-alih memeriksa pekerjaannya saat berjalan.

• Tingkatkan keterampilan dari lari Anda sendiri. Tinjau tangkapan layar, tindakan, dan penalaran dari setiap proses, ubah satu aturan pada satu waktu, dan simpan perubahan hanya jika setiap proses masih berhasil. Bagilah alur kerja menjadi tonggak, sehingga Anda dapat melihat di mana proses gagal berhenti.

Kelola konteks dan biaya

Biaya tergantung terutama pada konteks yang dibawa model dan pada jumlah langkah dalam proses. Setiap panggilan mengirim ulang riwayat, jadi setiap langkah tambahan harganya lebih mahal daripada yang terakhir. Cara paling efektif untuk menurunkan biaya adalah dengan memilih model dan keterampilan yang menyelesaikan tugas dalam langkah paling sedikit.

• Setel ulang konteks antar tugas. Mulai setiap tugas independen dari konteks bersih dan status layar yang diketahui.

• Simpan hanya tangkapan layar terbaru. Simpan beberapa tangkapan layar terbaru, seperti tiga yang terakhir, dan ganti gambar yang lebih lama dengan catatan teks pendek. Menyimpan hanya satu tangkapan layar dapat meningkatkan biaya, karena agen menggulir kembali untuk melihat apa yang hilang.

• Beri tahu agen apa yang Anda hapus. Jelaskan bahwa tangkapan layar lama sengaja dihapus, dan minta agen merekam setiap nilai dalam balasannya saat nilainya ada di layar.

Caching cepat dapat menurunkan biaya secara substansif, tetapi hanya jika Anda membangun payload dengan hati-hati:

• Hanya tambahkan ke akhir percakapan. Caching cocok dengan payload dari awal, jadi pengeditan ke giliran sebelumnya membatalkan cache.

• Hapus tangkapan layar lama secara berkelompok, bukan di setiap belokan, sehingga awalan yang di-cache tetap sama di antara penghapusan.

• Jangan membangun kembali percakapan di setiap belokan. Muatan yang berubah setiap belokan dapat lebih mahal dengan caching daripada tanpa itu.

• Konfirmasikan bahwa caching terlibat. Model memiliki ukuran awalan minimum untuk caching, dan awalan yang lebih kecil tidak di-cache dan tidak mengembalikan kesalahan.

Mengukur hasil

• Jalankan uji coba yang cukup. Hasil bervariasi antara proses yang identik. Jalankan banyak uji coba, laporkan penyebaran, dan gunakan tes statistik, seperti tes berpasangan, sebelum Anda menyimpulkan bahwa satu versi lebih baik.

• Hitung biaya dari setiap jenis token. Sertakan input baru, output, penulisan cache, dan pembacaan cache. Penyedia melaporkan token cache secara berbeda, jadi periksa bagaimana masing-masing menghitungnya. Laporkan token bersama biaya.

• Laporkan biaya dengan skor. Perubahan dapat mempertahankan tingkat keberhasilan yang sama meskipun meningkatkan biaya. Laporkan tingkat keberhasilan, biaya, dan langkah-langkah bersama-sama, dan pisahkan biaya lolos dan gagal.

• Tetapkan batas langkah dengan hati-hati. Tetapkan batas di atas apa yang dibutuhkan alur kerja, dan laporkan berapa banyak proses yang mencapainya. Ralanya yang kehabisan langkah membutuhkan perbaikan yang berbeda dari proses yang menghasilkan hasil yang salah. Juga tetapkan batas waktu dan biaya, dan mendukung pembatalan.

• Ubah satu hal pada satu waktu. Tahan semua yang lain tetap, sehingga Anda dapat melihat efek dari setiap perubahan.

• Urutkan kegagalan berdasarkan penyebab. Pisahkan kegagalan untuk membaca layar dari kegagalan untuk bertindak. Keterampilan dapat meningkatkan cara agen bertindak, tetapi tidak seberapa baik model membaca. Sebelum Anda mengkreditkan aturan dengan perbaikan, periksa apakah agen mengikutinya.

• Nilai hasil, bukan laporan agen. Periksa catatan yang disimpan dan layar akhir dengan evaluator otomatis yang mengharuskan setiap bidang untuk dicocokkan, dan sertakan kontrol negatif. Seorang agen dapat melaporkan tugas sebagai selesai padahal tidak.

• Periksa pengaturan pengujian Anda. Kesalahan dalam evaluator atau lingkungan dapat terlihat seperti kegagalan agen. Catat setiap prompt, tangkapan layar, dan tindakan, sehingga Anda dapat melacak proses yang gagal. Jangan mempublikasikan hasil yang tidak dapat Anda reproduksi.

Pengawasan dan keselamatan

• Jaga seseorang tetap up to date. Memerlukan konfirmasi sebelum tindakan konsekuensial atau sulit dibalik, seperti pembayaran, penghapusan, atau pengiriman. Perlakukan mengetik data sensitif ke dalam formulir sebagai mengirimnya. Periksa konfirmasi yang diperlukan sebelum setiap tindakan dalam batch, dan cari target lagi setelah seseorang menyetujui, karena layar mungkin telah berubah.

• Berikan pertanyaan agen kepada seseorang. Beberapa model berhenti dan meminta konfirmasi sendiri, misalnya ketika layar menyarankan sistem produksi. Pastikan loop Anda dapat menampilkan pertanyaan kepada seseorang.

• Batasi apa yang dapat dicapai agen. Jalankan agen di lingkungan terisolasi dengan izin minimal. Jauhkan kredentif masuk dari jangkauan agen jika memungkinkan, dan batasi akses internet ke daftar domain yang diizinkan.

• Perlakukan konten di layar sebagai tidak tepercaya. Teks pada halaman atau dalam dokumen tidak dapat memberikan izin atau mengubah tugas. Jangan biarkan instruksi di layar mengarahkan agen.

• Jauhkan agen dari web terbuka. Masukkan informasi yang dibutuhkan agen dalam keterampilan, alih-alih membuatnya mencari di web, di mana ia dapat menemukan CAPTCHA dan konten yang tidak tepercaya.

Sumber daya terkait

Penyedia model menerbitkan panduan penggunaan komputer untuk model mereka. Dokumentasi mereka saat ini menjelaskan detail spesifik model, seperti ukuran layar yang didukung, sistem koordinat, dan alat.

• Alat penggunaan komputer dalam dokumentasi Antropik

• Penggunaan komputer dalam dokumentasi OpenAI

• Penggunaan komputer dalam dokumentasi API Gemini