建置和評估電腦使用代理程式的最佳實務

電腦使用代理程式在迴圈中運作：它會查看畫面、動作並再次查看。下列實務可協助您建置客服人員，以較低的步驟以較低成本可靠地完成任務。它們適用於工作流程和模型系列。結果會因工作流程、模型、提示和環境而有所不同，因此請在您自己的任務上測量每個變更。

設計動作迴圈

客服人員的大部分工作會進入讀取畫面和輸入，而不是在視窗之間移動。在調校導覽之前，減少讀取錯誤和步驟數。

提供代理程式文字而非像素。從螢幕擷取畫面讀取確切的值，例如名稱、電子郵件地址和帳戶號碼，是常見的錯誤來源。當資料有文字副本時，請透過工具提供。對於資料表或資料欄中的值，也請客服人員檢視影像，因為文字圖層可能會混淆資料欄。
將指示放在螢幕擷取畫面之前。當客服人員必須找到並按一下某個項目時，請將指示放在請求中的影像前面，以便客服人員知道要尋找什麼。
從已知配置開始。在代理程式在其中運作之前，使用鍵盤快速鍵將每個應用程式最大化。一致的配置可讓重複的流程更可預測，並減少捲動。
偏好鍵盤。使用鍵盤快速鍵來捲動、最大化視窗和開啟功能表，尤其是對於小型或hard-to-hit控制項。捷徑不依賴於在螢幕上尋找控制項。
確認每個動作。忙碌的應用程式可以忽略按鍵動作。在每次動作後稍候，請保留一些最近的螢幕擷取畫面，並讓客服人員重複沒有效果的動作。
僅在安全的情況下使用 Tab。Tab 鍵適用於純文字欄位。當欄位失去焦點時，按一下應用程式反應的欄位，例如具有自動填入、下拉式清單或日期選擇器的欄位。
切換，請勿重新啟動。若要在執行中的應用程式之間移動，請使用任務列或應用程式切換器。重新啟動應用程式會新增步驟。
找出目前畫面上的控制項。視窗移動時，從較早畫面複製的座標會過時。僅在最大化的固定配置中使用固定座標。
偵測不會變更的動作。當資料列中的兩個動作未變更畫面時，請讓客服人員變更方法。限制重複捲動，讓執行不會將其步驟預算用於一個動作。
謹慎的批次動作。批次只會顯示客服人員在最後一個動作之後的畫面，因此請在客服人員需要讀取的畫面上結束批次。測量批次處理是否在依賴完整工作流程之前節省時間。僅以文字傳回批次錯誤，因為某些模型會拒絕包含影像的錯誤結果。

適應模型系列

模型系列以不同的方式操作桌面。建置代理程式迴圈一次，並調整每個系列的技能和設定。針對一個系列調校的技能通常需要更正，才能與另一個系列搭配使用。

每次變更後傳送新的螢幕擷取畫面。有些模型會繼續對舊螢幕擷取畫面採取行動，而不會發出問題訊號。在變更畫面的每個動作之後連接新的螢幕擷取畫面。
明確處理座標。有些模型會報告像素座標，其他則報告您必須轉換為像素的標準化網格上的座標。在提示中說明螢幕大小和有效的座標範圍，並檢查每次按一下是否在螢幕內。
模型的大小螢幕擷取畫面。將螢幕擷取畫面解析度與模型的影像限制配對。如果您縮減螢幕擷取畫面，請在按一下之前將模型的座標向上擴展。
輸入前請清除欄位。在某些模型上，輸入會附加到欄位，而不是取代其值。聚焦欄位、全部選取、刪除、輸入一次，然後回讀值。
控制平行工具呼叫。如果模型在一個訊息中傳送多個動作，無論提示為何，請關閉用戶端中的平行工具呼叫。依序執行批次動作，並在第一次失敗時停止。
根據預設，保持較低的推理工作量。簡單任務通常以低工作量成功，而更高的工作量會增加成本，而不會提高準確性。提高分支或多步驟任務的工作量。
將提示長度與模型相符。更強大的模型可以從短目標中運作。只有在模型需要時才新增規則，並在模型改善時縮短提示。
在輪換之間保持推理。如果您透過架構或相容性 API 呼叫推理模型，請確認模型推理是從一圈到下一頁。會使其停止運作的迴圈。
比較每個完成任務的成本。模型在每個步驟中使用的字符數量不同，因此每個字符的價格本身不會預測成本。將模型與您計劃使用的工具表面進行比較。

撰寫技能和提示

技能是您為工作流程提供代理程式的指示，對準確性和成本有很大的影響。設計不良的一般提示可能會比完全沒有提示執行更差。

包含一些工作規則。例如：記住您讀取的內容、在繼續之前驗證、在兩次失敗嘗試後變更方法，並等待應用程式回應。
提供事實，而不是程序。目前的模型需要較少step-by-step指引。讓技能保持簡短，並包含客服人員無法探索的事實，例如檔案路徑、欄位格式和應用程式查詢。
定義高值欄位。陳述識別符和帳戶號碼等欄位的確切格式，並讓客服人員先檢查該格式的每個值，再輸入。
進行必要且目標為的驗證。客服人員可以完全放心地輸入錯誤的值，因此請勿對客服人員的判斷進行驗證。輸入每個值後立即檢查一次，並在儲存之前讀取幾個高值欄位。每個欄位的完整重新檢查會新增步驟，而不會改善準確性。
更正錯誤。當值錯誤時，請讓代理程式修正該欄位，而不是清除和重新鍵入整個表單。
將 以乾淨的方式交給子代理程式。提供子代理程式完整指示，並在結尾要求報告，而不是檢查其工作。
改善自有執行的技能。檢閱每次執行的螢幕擷取畫面、動作和推理，一次變更一個規則，並僅在每次執行仍然成功時保留變更。將工作流程分割為里程碑，讓您可以查看失敗的執行停止的位置。

管理內容和成本

成本主要取決於模型承載的內容，以及執行中步驟的數量。每個呼叫都會重新傳送歷史記錄，因此每個額外步驟的成本都比上次高。降低成本最有效的方法是選擇在最少的步驟中完成任務的模型和技能。

重設任務之間的內容。從乾淨的內容和已知的畫面狀態啟動每個獨立任務。
僅保留最新的螢幕擷取畫面。保留一些最新的螢幕擷取畫面，例如前三個螢幕擷取畫面，並以簡短文字備註取代較舊的影像。只保留一個螢幕擷取畫面可能會增加成本，因為客服人員會捲動回以查看遺失的內容。
告訴客服人員您移除的內容。說明較舊的螢幕擷取畫面會依用途移除，並讓客服人員在值位於畫面上時，在其回覆中記錄每個值。

提示快取可以大幅降低成本，但只有在您謹慎建置承載時：

僅將新增至對話結尾。快取符合一開始的承載，因此對較早輪換的編輯會使快取失效。
批次移除舊的螢幕擷取畫面，而不是每次輪換時，如此快取的字首在移除之間會保持不變。
不要在每次轉彎時重建對話。每個回合變更的承載使用快取的成本可能高於不使用快取的成本。
確認快取已啟動。模型的快取字首大小下限，且較小的字首不會快取，也不會傳回錯誤。

測量結果

執行足夠的試驗。結果會因相同的執行而有所不同。執行許多試驗、報告分散，並使用統計測試，例如配對測試，然後才確定某個版本更好。
從每個字符類型計算成本。包含新的輸入、輸出、快取寫入和快取讀取。供應商以不同的方式報告快取字符，因此請檢查每個字符的計數方式。報告權杖與成本。
使用分數報告成本。雖然變更會增加成本，但可以保持相同的成功率。同時報告成功率、成本和步驟，並將傳遞和失敗執行的成本分開。
請謹慎設定步驟限制。設定超過工作流程所需的限制，並報告達到的執行次數。步驟不足的執行需要與產生錯誤結果的執行不同的修正。同時設定時間和成本限制，並支援取消。
一次變更一個物件。將其他一切固定，以便您可以看到每個變更的效果。
依原因排序失敗。將讀取畫面的失敗與採取行動的失敗分開。技能可以改善代理程式的運作方式，但無法改善模型讀取的程度。將改進項目計入規則之前，請檢查代理程式是否遵循該規則。
將結果分級，而不是客服人員的報告。使用需要每個欄位相符的自動評估器檢查儲存的記錄和最終畫面，並包含陰性控制項。客服人員可以在任務不完成時將其回報為完成。
檢查您的測試設定。評估器或環境中的錯誤可能看起來像客服人員失敗。記錄每個提示、螢幕擷取畫面和動作，以便您可以追蹤失敗的執行。請勿發佈您無法重現的結果。

監督與安全

將人員保留在迴圈中。需要先確認，才能執行後續或hard-to-reverse的動作，例如付款、刪除或提交。將敏感資料的輸入格式視為傳送。在批次中的每個動作之前檢查必要的確認，並在人員核准後再次找到目標，因為畫面可能已變更。
將客服人員的問題傳遞給人員。有些模型會停止並自行要求確認，例如當畫面建議生產系統時。請確定您的迴圈可以向人員顯示問題。
限制客服人員可以觸及的內容。在具有最少許可的隔離環境中執行代理程式。盡可能將登入憑證放在客服人員接觸不到的地方，並將網際網路存取限制在網域允許清單。
將螢幕內容視為不受信任。頁面或文件中的文字無法授予許可或變更任務。請勿讓畫面上的指示重新導向代理程式。
讓代理程式遠離開啟的 Web。將代理程式所需的資訊放在技能中，而不是讓它搜尋 Web，它會遇到 CAPTCHAs和不受信任的內容。