使用 Amazon OpenSearch Service 直接查詢

您可以使用 Amazon OpenSearch Service 直接查詢來分析 Amazon CloudWatch Logs、Amazon S3 和 Amazon Security Lake 中的資料。 OpenSearch Service 提供零ETL整合，作為使用 OpenSearch SQL或 OpenSearch Piped Processing Language (PPL) 分析日誌資料的方式，而不會產生建置擷取管道或在分析工具之間切換的摩擦。這種方法不需要資料移動或複製，可讓您使用 OpenSearch 探索來分析資料所在的位置。當您想要從查詢靜態資料切換到使用儀表板或警示主動監控時，您可以在資料上建立索引檢視並將其擷取至 OpenSearch 服務索引。

若要開始使用，您可以在 OpenSearch 服務主控台中設定資料來源。對於 Amazon S3，您可以使用網域的連線，而對於 CloudWatch Logs 和 Security Lake，您可以在 主控台的中央管理下使用連線的資料來源。Amazon S3 和 Security Lake 都使用 中的資料表 AWS Glue Data Catalog 來代表您的資料結構，包括結構描述、檔案類型和分割。對於 Amazon S3，您可以使用 CREATETABLESQL陳述式在 OpenSearch Query Workbench 中建立這些資料表。對於 Amazon Security Lake， 中的資料表 AWS Glue 已在 Security Lake 設定程序期間設定。類似地， CloudWatch 具有預先設定的日誌群組。

設定資料來源後，您可以登入探索，您可以在其中選取資料來源，然後選擇相關資料表 （適用於 Amazon S3 和 Security Lake) 或日誌群組 （適用於 CloudWatch 日誌）。您可以從該處開始直接查詢資料。

若要使用 OpenSearch Service 的進階分析功能進行資料監控，例如建置儀表板和全文搜尋，您可以透過在資料上建立索引檢視，從直接查詢資料來源擷取資料。您可以使用常見的索引技術建立SQL索引檢視，例如略過索引、具體化檢視和涵蓋索引 （如支援）。為了協助您快速開始建置儀表板，您可以使用預先建置的範本來建立常見的日誌類型，例如VPC流程日誌、 AWS CloudTrail 日誌和 AWS WAF 日誌。

直接查詢配額

您的帳戶具有下列與 OpenSearch Service Direct 查詢相關的配額。

Amazon S3 配額

每次您啟動對 Amazon S3 資料來源的查詢時， OpenSearch Service 都會開啟工作階段，並維持其運作至少三分鐘。這可透過移除後續查詢中的工作階段啟動時間來減少查詢延遲。

描述	最大	可以覆寫
每個網域的連線數	10	是
每個網域的資料來源	20	是
每個網域的索引	5	是
每個資料來源的並行工作階段	10	是
OCU 每個查詢的上限	60	是
查詢執行時間上限 （分鐘）	30	是
OCUs 每次加速的上限	20	是
暫時性儲存空間上限	20	是

CloudWatch 日誌的配額

注意

如果您想要使用 CloudWatch Logs Insights 執行直接查詢，請務必參閱 使用 的 CloudWatch Logs Insights 使用者其他資訊 OpenSearch SQL。

描述	Value	軟性限制？	備註
跨直接查詢的帳戶層級TPS限制 APIs	3 TPS	是
資料來源數量上限	20	是	限制為 AWS 帳戶。
自動重新整理索引或具體化檢視上限	30	是	限制是每個資料來源。
並行查詢上限	15	是	限制適用於處於待定或執行狀態的查詢。 包括互動式查詢 （例如 等資料擷取命令SELECT) 和索引查詢 （例如 CREATE/ALTER/ 等操作DROP)。
OCU 每個查詢的並行上限	512	是	OpenSearch 運算單位 (OCU)。根據 15 個執行器和 1 個驅動程式的限制，每個都具有 16 vCPU 和 32 GB 記憶體。代表並行處理能力。
查詢執行時間上限，以分鐘為單位	60	否	限制適用於 CloudWatch Logs Insights 中的 OpenSearch PPL/SQL 查詢。
清除過時查詢的期間 IDs	90 天	是	這是 OpenSearch Service 清除舊項目查詢中繼資料的期間。例如，針對超過 90 天的查詢呼叫 GetDirectQuery 或 GetDirectQueryResult 失敗。

Security Lake 的配額

描述	Value	軟性限制？	備註
跨直接查詢的帳戶層級TPS限制 APIs	3 TPS	是
資料來源數量上限	20	是	限制為 AWS 帳戶。
自動重新整理索引或具體化檢視上限	30	是	限制適用於每個資料來源。 僅包含自動重新整理設定為 true 的索引和具體化視觀表 (MVs)。
並行查詢上限	30	是	限制適用於處於待定或執行狀態的查詢。 包括互動式查詢 （例如 等資料擷取命令SELECT) 和索引查詢 （例如 CREATE/ALTER/ 等操作DROP)。
OCU 每個查詢的並行上限	512	是	OpenSearch 運算單位 (OCU)。根據 15 個執行器和 1 個驅動程式的限制，每個都具有 16 vCPU 和 32 GB 記憶體。代表並行處理能力。
查詢執行時間上限，以分鐘為單位	30	否	僅適用於互動式查詢 （例如，資料擷取命令，例如 SELECT)。對於REFRESH查詢，限制為 6 小時。
清除過時查詢的期間 IDs	90 天	是	這是 OpenSearch Service 清除舊項目查詢中繼資料的期間。例如，針對超過 90 天的查詢呼叫 GetDirectQuery 或 GetDirectQueryResult 失敗。

支援的 AWS 區域

Amazon S3、 CloudWatch Logs 和 Security Lake 中的 OpenSearch Service Direct 查詢 AWS 區域 支援以下項目：

AWS 區域 適用於 Amazon S3

• 亞太區域 (香港)

• Asia Pacific (Mumbai)

• 亞太區域 (首爾)

• 亞太區域 (新加坡)

• 亞太區域 (雪梨)

• 亞太區域 (東京)

• 加拿大 (中部)

• 歐洲 (法蘭克福)

• 歐洲 (愛爾蘭)

• 歐洲 (斯德哥爾摩)

• 美國東部 (維吉尼亞北部)

• 美國東部 (俄亥俄)

• 美國西部 (奧勒岡)

AWS 區域 可用於 CloudWatch 日誌

• 亞太區域 (孟買)

• 亞太區域 (新加坡)

• 亞太區域 (雪梨)

• 亞太區域 (東京)

• 加拿大 (中部)

• 歐洲 (法蘭克福)

• 歐洲 (愛爾蘭)

• 美國東部 (維吉尼亞北部)

• 美國東部 (俄亥俄)

• 美國西部 (奧勒岡)

• Europe (Paris)

• 歐洲 (倫敦)

• 南美洲 (聖保羅)

AWS 區域 適用於 Security Lake

• 亞太區域 (孟買)

• 亞太區域 (新加坡)

• 亞太區域 (雪梨)

• 亞太區域 (東京)

• 加拿大 (中部)

• 歐洲 (法蘭克福)

• 歐洲 (愛爾蘭)

• 美國東部 (維吉尼亞北部)

• 美國東部 (俄亥俄)

• 美國西部 (奧勒岡)

• Europe (Paris)

• 歐洲 (倫敦)

• 南美洲 (聖保羅)