Web 瀏覽器 - Amazon Quick
概觀瀏覽器工作階段管理啟動瀏覽器工作階段前往網頁Click輸入文字輸入登入資料從下拉式清單中選取擷取文字擷取資料表擷取螢幕擷取畫面視覺化問答按一下並上傳檔案輸入擊鍵動作等待元素尋找相符的元素等待新視窗切換視窗關閉視窗儲存至剪貼簿從剪貼簿貼上重新整理網頁重新啟動瀏覽器限制

本文為英文版的機器翻譯版本，如內容有任何歧義或不一致之處，概以英文版為準。

Web 瀏覽器

概觀

瀏覽器動作提供全方位的自動化工具組，可執行 Web 互動。瀏覽器工作階段會自動管理 - 視需要開啟、維護和關閉。Quick Automate 透過 AI 支援的自然語言描述和精確的 XPath 選擇器，支援靈活的元素識別。主要功能包括以備用機制為目標的智慧型元素、自動處理彈出視窗和重試失敗動作的自我修復功能、包含結構化資料表內容的資料擷取，以及從基本點擊和輸入到進階 AI 驅動多步驟任務的完整互動方法。

元素識別方法

  • 描述方法：使用 AI 來識別使用自然語言描述 （例如「登入按鈕」) 的元素，讓自動化對 UI 變更更具彈性。

  • XPath 選擇器方法：使用精確的 XPath 表達式來精確鎖定元素 （例如 //button[text()='Log in'])。

  • 合併方法：啟用這兩種方法時，先嘗試 XPath，然後再回到描述方法，結合精確度和適應性。

可用於輸入和點選的自我修復功能

  • HandlePopups：自動偵測和處理非預期的對話方塊、Cookie 通知和浮水印，防止封鎖元素中斷工作流程。

  • ValidateAndRetry：透過螢幕擷取畫面比較來驗證動作成功，並視需要重試，以減少錯誤失敗。

瀏覽器工作階段管理

瀏覽器執行個體會自動建立、在整個工作流程中維護，並在完成時正確清除。restart_browser 動作會在需要時允許新的工作階段，例如登入逾時或工作階段過期。

啟動瀏覽器工作階段

開啟新的瀏覽器工作階段。範圍內的動作是與此瀏覽器互動的範圍。瀏覽器會在完成時自動關閉。

屬性：

  • 動作標題 （純文字）：程序視覺化中顯示的動作標題 （預設：瀏覽器）

注意

  1. 所有瀏覽器動作都必須放置在瀏覽器工作階段範圍內

  2. 每個瀏覽器範圍都是瀏覽器工作階段。當範圍內的動作完成時，瀏覽器會自動關閉。

前往網頁

導覽至特定 URL。用來前往目前瀏覽器索引標籤中的新網頁。

屬性：

  • URL （必要）：要導覽至 的網址 （例如 "example.com") 注意：請在使用此操作時提供完整的 URL。

Click

按一下網頁元素。用來與按鈕、連結或其他可點選的元素互動。

屬性：

  • 尋找具有描述的元素 （選項按鈕）：使用自然語言描述來識別具有 AI 的元素 （預設值：ON)

    • 描述欄位 （有條件必要）：要按一下之瀏覽器元素的自然語言描述 （例如「提交按鈕」)。請勿在 元素中使用 動作，只使用 元素的描述

  • 尋找含選取器的元素 （選項按鈕）：使用 XPath 表達式來識別元素 （預設值：OFF)

    • XPath 欄位 （有條件必要）：XPath 表達式 （例如 "//input【@id='xyz'】")

  • 自我修復 （核取方塊）：使用 AI 自動處理非預期的快顯視窗 （預設值：OFF、選用）

  • 滑鼠按鈕 （下拉式清單）：要按一下哪個滑鼠按鈕 - 向左、中間或向右 （預設：向左、選用）

  • 按一下類型 （下拉式清單）：按一下或按兩下 （預設：單一、選用）

  • 取得檔案下載 （選項按鈕）：如果按一下下載檔案，請啟用 （預設值：OFF、選用）

  • 下載的檔案 （輸出，有條件必要）：儲存下載檔案的變數名稱 （預設值： downloaded_file)

元素識別：

  • 必須啟用至少一個元素識別方法

  • 當這兩種方法都啟用時，先嘗試 XPath 選取器，然後再返回描述

輸入文字

在輸入欄位中輸入文字。用來填寫 網頁上的表單、搜尋方塊或其他文字輸入。

屬性：

  • 要輸入的文字 （必要）：您想要在欄位中輸入的文字 （例如，「訂單 #12345」)

  • 尋找具有描述的元素 （選項按鈕）：使用自然語言描述來識別具有 AI 的元素 （預設值：ON)

    • 描述欄位 （有條件必要）：自然語言描述 （例如，「訂單號碼欄位」)

  • 尋找含選取器的元素 （選項按鈕）：使用 XPath 表達式來識別元素 （預設值：OFF)

    • XPath 欄位 （有條件必要）：XPath 表達式 （例如 "//input【@id='xyz'】")

  • 自我修復 （核取方塊）：使用 AI 自動處理非預期的快顯視窗 （預設值：OFF、選用）

  • 取代現有文字 （核取方塊）：輸入之前清除 欄位中任何預先存在的文字 （預設值：ON)

元素識別：

  • 必須啟用至少一個元素識別方法。建議僅在需要時使用元素描述並移至元素選擇器。

輸入登入資料

輸入使用者名稱或密碼。用來使用已儲存的登入資料安全地登入網站。

屬性：

  • 登入資料 （下拉式清單，必要）：選擇要從自動化群組使用的已儲存登入資料

  • 要輸入的值 （下拉式清單，必要）：選擇是否輸入使用者名稱或密碼 （預設值：使用者名稱）

  • 尋找具有描述的元素 （選項按鈕）：使用自然語言描述來識別具有 AI 的元素 （預設值：ON)

    • 描述欄位 （有條件必要）：自然語言描述 （例如 "Username field")

  • 尋找含選取器的元素 （選項按鈕）：使用 XPath 表達式來識別元素 （預設值：OFF)

    • XPath 欄位 （有條件必要）：XPath 表達式 （例如 "//input【@id='username'】")

  • 自我修復 （核取方塊）：使用 AI 自動處理非預期的快顯視窗 （預設值：OFF、選用）

元素識別：

  • 必須啟用至少一個元素識別方法

從下拉式清單中選取

從下拉式清單中選擇值。用於在 網頁的表單、篩選條件或其他下拉式選單中進行選擇。

屬性：

  • 要選取的值 （必要）：您要從下拉式清單欄位選取的選項 （例如「完成」)

  • 尋找具有描述的元素 （選項按鈕）：使用自然語言描述來識別具有 AI 的元素 （預設值：ON)

    • 描述欄位 （有條件必要）：自然語言描述 （例如「訂單狀態下拉式清單」)

  • 尋找含選取器的元素 （選項按鈕）：使用 XPath 表達式來識別元素 （預設值：OFF)

    • XPath 欄位 （有條件必要）：XPath 表達式 （例如 "//select【@id='xyz'】")

  • 自我修復 （核取方塊）：使用 AI 自動處理非預期的快顯視窗 （預設值：OFF、選用）

元素識別：

  • 必須啟用至少一個元素識別方法

擷取文字

從網頁讀取值。用來從個別欄位擷取文字。

屬性：

  • 尋找具有描述的元素 （無線電按鈕）：使用自然語言描述來識別具有 AI 的元素 （預設值：ON)

    • 描述欄位 （有條件必要）：自然語言描述 （例如「總金額欄位」)

  • 尋找含選取器的元素 （選項按鈕）：使用 XPath 表達式來識別元素 （預設值：OFF)

    • XPath 欄位 （有條件必要）：XPath 表達式 （例如 "//input【@id='xyz'】")

  • 自我修復 （核取方塊）：使用 AI 自動處理非預期的快顯視窗 （預設值：OFF、選用）

  • 擷取的文字 （輸出）：儲存擷取文字的變數名稱 （預設： extracted_text)

元素識別：

  • 必須啟用至少一個元素識別方法

擷取資料表

從網頁資料表讀取資料。用來擷取資料表中找到的結構化資訊。

使用自然語言目標或 XPath 選擇器，以智慧方式從網頁擷取結構化資料。功能包括 AI 增強型擷取、多個屬性擷取 （文字、連結等）、屬性的自動資料欄產生，以及程式設計操作的資料表輸出。

屬性：

  • 尋找具有描述的元素 （選項按鈕）：使用自然語言描述來識別具有 AI 的元素 （預設值：ON)

    • 描述欄位 （有條件必要）：自然語言描述 （例如「訂單詳細資訊表」)

  • 尋找具有選取器的元素 （選項按鈕）：使用 XPath 表達式來識別元素 （預設值：OFF)

    • XPath 欄位 （有條件必要）：XPath 表達式 （例如 "//table【@id='xyz'】")

  • 自我修復 （核取方塊）：使用 AI 自動處理非預期的快顯視窗 （預設值：OFF、選用）

  • 擷取多頁 （選項按鈕）：如果資料存在，則繼續從其他頁面擷取資料 （預設值：OFF、選用）

  • 下一頁按鈕選擇器 （有條件顯示）：下一頁按鈕的 XPath 表達式 （例如 "//*【@id='nextButton'】"，選用）

  • 智慧型資料擷取 （核取方塊）：使用 AI 從複雜資料表擷取和建構資料 （預設值：ON)。請勿將 用於 100 列以上的大型資料表大小。此選項應用於複雜資料表或類似資料表的結構，其中從 Web 瀏覽器擷取一般資料表失敗

  • 要擷取的資料 （多選下拉式清單）：選擇要擷取的內容 - 文字、連結 (Href) 或元素選取器 (Xpath) （預設：文字、選用）

  • 擷取的資料表 （輸出）：儲存擷取資料表的變數名稱 （預設： extracted_table)

元素識別：

  • 必須啟用至少一個元素識別方法

用量備註：

  • 其他資料類型會儲存在不同的欄中 （例如連結的 columnName_Href)

  • 針對具有 100 個以上資料列的資料表停用智慧型擷取，以獲得更好的效能

擷取螢幕擷取畫面

擷取網頁的影像。螢幕擷取畫面會儲存至檔案，以供稍後在您的程序中使用。

屬性：

  • 檔案名稱 （選用）：已儲存影像檔案的名稱。如果為空則自動產生 （例如，「螢幕擷取畫面影像」)

  • 檔案類型 （下拉式清單）：選擇影像格式 - PNG 或 JPEG （預設：PNG、選用）

  • 螢幕擷取畫面檔案 （輸出）：儲存螢幕擷取畫面檔案的變數名稱 （預設： screenshot_file)

視覺化問答

回答有關網頁的問題。使用 AI 以視覺化方式分析頁面，並回答有關內容的真/錯問題。

屬性：

  • 問題 （必要）：輸入有關網頁內容的 true/false 問題 （例如「產品是否在庫存中？」)

  • 自我修復 （核取方塊）：使用 AI 自動處理非預期的快顯視窗 （預設值：OFF、選用）

  • 答案 （輸出）：存放 true/false 回應的變數名稱 （預設值：is_true)

按一下並上傳檔案

將檔案上傳至網頁。用來按一下檔案上傳按鈕，然後選擇要上傳的檔案，以自動化檔案挑選器。

屬性：

  • 要上傳的檔案 （必要）：要上傳的檔案清單，通常存放在變數中 （例如 【my_file1、my_file2】)

  • 尋找具有描述的元素 （無線電按鈕）：使用自然語言描述來識別具有 AI 的元素 （預設值：ON)

    • 描述欄位 （有條件必要）：自然語言描述 （例如「上傳按鈕」)

  • 尋找含選取器的元素 （選項按鈕）：使用 XPath 表達式來識別元素 （預設值：OFF)

    • XPath 欄位 （有條件必要）：XPath 表達式 （例如 "//input【@id='xyz'】")

  • 自我修復 （核取方塊）：使用 AI 自動處理非預期的快顯視窗 （預設值：OFF、選用）

  • 滑鼠按鈕 （下拉式清單）：要按一下哪個滑鼠按鈕 - 左、中或右 （預設：左、選用）

  • 按一下類型 （下拉式清單）：按一下或按兩下 （預設：單一、選用）

檔案需求：

  • 必須是媒體/檔案物件的陣列

元素識別：

  • 必須啟用至少一個元素識別方法

輸入擊鍵動作

傳送金鑰命令或捷徑。用來在網頁上自動輸入個別金鑰或金鑰組合。

屬性：

  • 特殊按鍵 （下拉式清單，必要）：選取修飾詞，例如 Ctrl、Alt、Shift 或單一按鍵，例如 Enter、Tab、Pagedown

  • 命令金鑰 （選用）：輸入要與特殊金鑰搭配使用的金鑰 （例如，Ctrl+c 為 "c")

  • 尋找具有描述的元素 （選項按鈕）：使用自然語言描述來識別具有 AI 的元素 （預設值：ON)

    • 描述欄位 （有條件必要）：自然語言描述 （例如「搜尋列」)

  • 尋找具有選取器的元素 （選項按鈕）：使用 XPath 表達式來識別元素 （預設值：OFF)

    • XPath 欄位 （有條件必要）：XPath 表達式 （例如 "//input【@id='xyz'】")

  • 自我修復 （核取方塊）：使用 AI 自動處理非預期的快顯視窗 （預設值：OFF、選用）

元素識別：

  • 這兩個元素切換都可以是 OFF - 如果未定義任何元素，則擊鍵動作會傳送至目前的作用中欄位

等待元素

檢查 元素是否出現。用來等待變更或驗證網頁上的條件。如果在最長等待時間內找到 元素，則傳回 true，否則傳回 false。

屬性：

  • 動作標題 （純文字）：顯示動作的名稱

  • 元素選取器 （必要）：定義您要檢查之元素的 XPath 表達式 （例如 "//input【@id='xyz'】")

  • 最長等待時間 （選用）：元素出現的等待時間上限，以秒為單位 （預設值：30)

  • 找到的元素 （輸出）：儲存是否找到元素的變數名稱 (True/False) （預設值：is_found)

驗證：

  • 最長等待時間必須是整數或小數

尋找相符的元素

取得符合模式的元素。用來取得網頁上您可以逐一處理的類似元素清單。

屬性：

  • 元素選取器 （必要）：定義您要取得之元素模式的 XPath 表達式 （例如 "//div【@class='abc'】")

  • 元素清單 （輸出）：儲存找到元素清單的變數名稱 （預設值： element_list)

用量備註：

  • 如果找不到相符的元素，則清單為空白

  • 用於處理多個類似的元素，例如搜尋結果或超連結

等待新視窗

檢查要開啟的新視窗。在按一下在目前瀏覽器工作階段中開啟新子視窗的連結或按鈕後使用。

屬性：

  • 最長等待時間 （選用）：新視窗出現的等待時間上限，以秒為單位 （預設值：30)

  • 視窗識別符 （輸出）：儲存新視窗識別符的變數名稱 （預設值：Window_id)

用量備註：

  • 如果時間超過 且找不到時段，會發生例外狀況

  • 視窗識別符可用來切換焦點或關閉視窗

驗證：

  • 最長等待時間必須是整數或小數

切換視窗

變更瀏覽器視窗。將焦點切換到指定的視窗後，後續瀏覽器動作會與該視窗互動。

屬性：

  • 視窗識別符 （選用）：您要切換的視窗，通常存放在變數中 （例如 window_id)。保留空白以切換至主視窗

關閉視窗

關閉瀏覽器視窗。關閉後，自動化會返回目前瀏覽器工作階段的主要視窗。

屬性：

  • 視窗識別符 （必要）：您要關閉的視窗，通常存放在變數中 （例如 window_id)

儲存至剪貼簿

將文字複製到剪貼簿。用來儲存您可以稍後貼上的文字。取代現有的剪貼簿文字。

屬性：

  • 要儲存的文字 （必要）：您要複製到剪貼簿的文字 （例如「訂單 #12345」)

從剪貼簿貼上

從剪貼簿插入文字。用來將複製的文字貼入網頁欄位。

屬性：

  • 尋找具有描述的元素 （選項按鈕）：使用自然語言描述來識別具有 AI 的元素 （預設值：ON)

    • 描述欄位 （有條件必要）：自然語言描述 （例如，「訂單號碼欄位」)

  • 尋找含選取器的元素 （選項按鈕）：使用 XPath 表達式來識別元素 （預設值：OFF)

    • XPath 欄位 （有條件必要）：XPath 表達式 （例如 "//input【@id='xyz'】")

  • 自我修復 （核取方塊）：使用 AI 自動處理非預期的快顯視窗 （預設值：OFF、選用）

  • 取代現有文字 （核取方塊）：貼上前清除欄位中任何預先存在的文字 （預設：ON)

元素識別：

  • 必須啟用至少一個元素識別方法

重新整理網頁

重新載入目前的網頁。有些頁面可能會在重新整理時重新導向。

屬性：

  • 動作標題 （純文字）：顯示動作的名稱

重新啟動瀏覽器

關閉並重新開啟瀏覽器。新的工作階段會從空白頁面開始。

屬性：

  • 全部重新啟動 （核取方塊）：關閉並重新啟動所有瀏覽器視窗，而不只是目前的瀏覽器視窗 （預設值：OFF、選用）

限制

元素識別不確定：如果 AI 無法可靠地識別 UI 元素，則動作會失敗並出現「LowConfidence」錯誤。在這些情況下，請使用更具體的 XPath 選擇器或元素描述。瀏覽器相容性：系統僅搭配 Chrome 瀏覽器執行個體運作，並使用 Playwright 做為基礎自動化架構，這表示相容性僅限於 Chrome 支援的 Web 技術，可能無法與其他廠商的瀏覽器特定功能搭配使用。動態內容挑戰：具有頻繁配置變更、繁重 JavaScript 架構或複雜單頁應用程式的高度動態頁面可能需要額外的等待時間、重試邏輯或特殊處理方法。效能額外負荷： AI 支援的功能，例如自然語言元素目標和自我修復功能，需要比直接 XPath 目標更多的處理時間。