為您的 Amazon 基岩知識庫抓取網頁

注意

檢索 Web URL 作為您的資料來源處於預覽版本中，可能會有所變更。

Amazon 基岩提供的網絡爬蟲可以連接並抓取您選擇用於 Amazon 基岩知識庫的 URL。您可以根據您設定的範圍或所選 URL 的限制來檢索網站頁面。您可以使用 Amazon 基岩AWS 管理主控台或 CreateDataSourceAPI 來編目網站頁面 (請參閱 Amazon 基岩支援的開發套件和)。 AWS CLI

選擇要抓取的網站時，您必須遵守 Amazon 可接受使用政策和所有其他 Amazon 條款。請記住，您只能使用 Web 爬蟲來索引您自己的網頁或您有權抓取的網頁。

支援的功能

Web 爬行者程式會從種子 URL 開始連線並搜索 HTML 頁面，遍歷相同頂層主要網域和路徑下的所有子連結。如果有任何 HTML 頁面參照支援的文件，Web 爬行者程式 (Web Crawler) 將會擷取這些文件，不論它們是否位於相同的頂層主要網域內。您可以通過更改編目配置來修改爬網行為-請參閱。連接配置

您可以使用以下內容：

選取要檢索的多個網址
尊重標準的 robots.txt 指令，如「允許」和「不允許」
限制要編目的 URL 範圍，並選擇性地排除符合篩選器模式的 URL
限制檢索網址的速率
查看在 Amazon 爬網時訪問的 URL 的狀態 CloudWatch

必要條件

要使用網絡爬蟲，請確保：。

檢查您是否有權抓取請求中的 URL

注意

連接配置

如需搜索 URL、包含/排除篩選器、URL 存取、增量同步以及這些運作方式的同步範圍的詳細資訊，請選取下列選項：

您可以根據每個頁面 URL 與種子 URL 的特定關係來限制要編目的 URL 範圍。為了加快搜索速度，您可以將 URL 限制為與種子 URL 具有相同主機且其路徑包含種子 URL 路徑的 URL。如需更完整的編目，您可以將 URL 限制為相同主機下或種子 URL 之任何子網域內的 URL。

您可以選擇性地提供包含和排除篩選器，進一步限制要編目的 URL 的範圍。這些是與選擇 URL 匹配的正則表達式模式。如果選取的 URL 符合任何排除篩選器，則不會檢索該 URL。如果提供包含篩選器，爬行者程式只會在至少符合一個包含篩選器時嘗試擷取 URL。

您可以使用「網路爬蟲」來檢索您授權可檢索的網站頁面。

注意

每次 Web 爬行者程式執行時，都會擷取可從來源 URL 存取且符合範圍和篩選器的所有 URL 的內容。對於首次同步所有內容之後的增量同步，Amazon Bedrock 會使用新內容和已修改內容更新您的知識庫，並移除不再存在的舊內容。有時，爬蟲可能無法判斷內容是否已從網站中刪除；在這種情況下，在這種情況下，在您的知識庫中保留舊內容時會出錯。

若要將資料來源與知識庫同步，請使用 StartIngestionJobAPI 或在主控台中選取您的知識庫，然後在資料來源概觀區段中選取 [同步]。

重要

您從資料來源同步的所有資料都可供具有擷取資料bedrock:Retrieve權限的任何人使用。這也可以包括任何具有受控資料來源權限的資料。如需詳細資訊，請參閱知識庫權限。

Console

以下步驟為您的 Amazon 基岩知識庫設定網路爬蟲。您可以將 Web 爬行者程式設定為主控台中知識庫建立步驟的一部分。

AWS Management Console 使用具有 Amazon 基岩許可的 IAM 角色登錄，然後在 https://console.aws.amazon.com/bedrock/ 打開 Amazon 基岩主控台。
在左側導覽窗格中，選取 [知識庫]。
在 [知識庫] 區段中，選取 [建立知識庫]。
提供知識庫詳細資料。
1. 提供知識庫名稱和可選描述。
2. 為建立知識庫所需的必要存取權限提供 AWS Identity and Access Management 角色。
  
  注意
  您可以為您建立具有所有必要權限的 IAM 角色，做為建立知識庫的主控台步驟的一部分。完成建立知識庫的步驟之後，具有所有必要權限的 IAM 角色就會套用至您的特定知識庫。
3. 建立您要指派給知識庫的任何標籤。
轉到下一節以配置您的數據源。
選擇「Web 爬行者程式」作為您的資料來源，並提供組態詳細資訊。

(選擇性) 變更預設資料來源名稱並輸入「說明」。
提供您要檢索之 URL 的來源 URL。您最多可以新增 9 個其他 URL，方法是選取「新增來源 URL」。透過提供來源 URL，即表示您確認您已獲得編目其網域的授權。
檢查進階設定。您可以選擇性地變更預設選取的設定。

對於 KMS key 設定，您可以選擇自訂金鑰或使用預設提供的資料加密金鑰。

將數據轉換為嵌入時，默認情況下，使用 AWS 擁有和管理的 Amazon Bedrock 密鑰對臨時數據進行加密。您可以使用自己的 KMS 金鑰。如需詳細資訊，請參閱資料擷取期間的暫時性資料儲存加密。

對於資料刪除原則設定，您可以選擇：
- 刪除：刪除知識庫或資料來源資源時，從向量存放區刪除屬於資料來源的所有資料。請注意，底層向量存儲本身不會被刪除，只刪除數據。如果刪除 AWS 帳號，則會忽略此旗標。
- 保留：刪除知識庫或資料來源資源時，保留向量存放區中的所有資料。
選取同步範圍。選取「預設」、「僅限主機」或「子網域」。輸入包含和排除篩選器的值，以進一步限制編目的範圍。每次 Web 爬行者程式執行時，都會擷取可從來源 URL 存取且符合範圍和篩選器的所有 URL 的內容。對於第一次進行增量同步，Amazon Bedrock 將使用新內容和修改後的內容更新您的知識庫，並移除不再存在的舊內容。如需更完整的編目，您可以將 URL 限制為與種子 URL 具有相同主要網域的 URL。透過將資料來源設定為編目網站，即表示您已獲得授權執行此操作。
輸入編目速度的最大節流。每台主機每分鐘內嵌 1 到 300 個 URL 之間的 URL。較高的爬網速度會增加成本，但所花費的時間更少。
對於 URL 模式（可選），您可以通過在框中輸入正則表達式模式來添加包含模式或排除模式。您最多可以新增 25 個包含和 25 個排除濾鏡模式，方法是選取 [新增模式]。
選擇預設或自訂的區塊和剖析組態。
1. 如果您選擇自訂設定，請選取下列其中一個區塊選項：
  - 固定大小的塊：內容拆分為您設置的近似令牌大小的文本塊。您可以設定不得超過區塊的記號數目上限，以及連續區塊之間的重疊百分比。
  - 默認塊：內容分割成多達 300 個令牌的文本塊。如果單一文件或內容片段包含少於 300 個標記，則不會進一步分割文件。
  - 分層塊：內容組織成父子塊的嵌套結構。您可以設置最大父塊令牌大小和最大子塊令牌大小。您還可以設置每個父塊和父塊與每個子項之間的重疊令牌的絕對數量。
  - 語義塊：內容組織成語義相似的文本塊或句子組。您可以將目標/當前句子周圍的最大句子數設置為組合在一起（緩衝區大小）。您也可以設定中斷點百分位數閾值，以將文字分割成有意義的區塊。
  - 沒有區塊：每個文檔被視為一個單一的文本塊。您可能希望通過將文檔拆分為單獨的文件來預處理它們。
  注意
  建立資料來源之後，您就無法變更區塊策略。
2. 您可以選擇使用 Amazon Bedrock的基礎模型來解析文檔，以解析比標準文本更多。例如，您可以在文件中剖析表格式資料，但其結構完整無缺。檢視Amazon Bedrock 定價，瞭解基礎模型的成本資訊。
3. 您可以選擇使用 AWS Lambda 函數來自訂區塊策略，以及如何處理和擷取文件中繼資料屬性/欄位。提供 Lambda 函數輸入和輸出的 Amazon S3 儲存貯體位置。
轉到下一節以配置向量存儲。
選擇將資料轉換為向量嵌入的模型。

建立向量存放區以允許 Amazon 基岩存放、更新和管理嵌入。您可以快速建立新的向量存放區，或從已建立的支援向量存放區中進行選取。如果您建立新的向量存放區，系統會為您設定 Amazon OpenSearch 無伺服器向量搜尋集合和索引，其中包含必要欄位。如果您從支援的向量存放區中選取，則必須對應向量欄位名稱和中繼資料欄位名稱。

移至下一節以檢閱您的知識庫組態。
檢查您的知識庫的詳細信息。您可以在繼續前進並創建知識庫之前編輯任何部分。

注意
建立知識庫所需的時間取決於您擷取的資料量和特定組態。知識庫建立完成後，知識庫的狀態會變更為 [就緒]。
知識庫準備就緒或完成建立之後，請在您想要保持內容保持最新狀態時，首次同步資料來源。在主控台中選取您的知識庫，然後在資料來源概觀區段中選取 [同步]。

CLI

以下是您 Amazon 基岩知識庫的網路爬蟲組態範例。


{
    "webConfiguration": {
        "sourceConfiguration": {
            "urlConfiguration": {
                "seedUrls": [{
                    "url": "https://www.examplesite.com"
                }]
            }
        },
        "crawlerConfiguration": {
            "crawlerLimits": {
                "rateLimit": 50
            },
            "scope": "HOST_ONLY",
            "inclusionFilters": [
                "https://www\.examplesite\.com/.*\.html"
            ],
            "exclusionFilters": [
                "https://www\.examplesite\.com/contact-us\.html"
            ]
        }
    },
    "type": "WEB"
}

您的瀏覽器已停用或無法使用 Javascript。

您必須啟用 Javascript，才能使用 AWS 文件。請參閱您的瀏覽器說明頁以取得說明。

文件慣用形式

Salesforce

同步您的資料來源