記錄異常偵測 - Amazon CloudWatch 日誌

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

記錄異常偵測

您可以為每個記錄群組建立記錄異常偵測器。異常偵測器會掃描擷取到記錄群組中的記錄事件,並在記錄資料中尋找異常。異常偵測使用機器學習和模式辨識來建立典型日誌內容的基準。

在您為記錄群組建立異常偵測器之後,它會使用記錄群組中過去兩週的記錄事件進行訓練,以進行訓練。訓練期間最多可能需要 15 分鐘。訓練完成後,它會開始分析傳入的記錄檔以識別異常,而異常會顯示在 CloudWatch 記錄主控台中供您檢查。

CloudWatch 日誌模式識別通過識別日誌中的靜態和動態內容來提取日誌模式。病毒碼對於分析大型記錄集很有用,因為通常可以將大量記錄事件壓縮成幾個病毒碼。

例如,請參閱下列三個記錄事件的範例。

2023-01-01 19:00:01 [INFO] Calling DynamoDB to store for resource id 12342342k124-12345 2023-01-01 19:00:02 [INFO] Calling DynamoDB to store for resource id 324892398123-12345 2023-01-01 19:00:03 [INFO] Calling DynamoDB to store for resource id 3ff231242342-12345

在上一個範例中,所有三個記錄事件都遵循一個模式:

<*> <*> [INFO] Calling DynamoDB to store for resource id <*>

模式中的字段稱為令牌。模式中不同的欄位 (例如要求 ID 或時間戳記) 稱為動態權杖<*>當 CloudWatch 記錄檔顯示病毒碼時,動態權杖會以表示。為動態令牌找到的每個不同值稱為令牌值

動態權杖的常見範例包括錯誤碼、時間戳記和要求 ID。

記錄異常偵測會使用這些模式來尋找異常。異常偵測器模型訓練期結束後,系統會根據已知趨勢評估記錄。異常檢測器將重大波動標記為異常。

建立記錄異常偵測器不會產生費用。

異常和模式的嚴重性和優先順序

記錄異常偵測器找到的每個異常都會指派優先順序。找到的每個模式都會指派一個嚴重性

  • 系統會自動計算優先順序,並根據陣列的嚴重性等級和與預期值的偏差量而定。例如,如果某個令牌值突然增加 500%,即使其嚴重性為,該異常也可能被指定為HIGH優先順序。NONE

  • 嚴重性僅基於模式中找到的關鍵字FATAL,例如ERROR、和WARN。如果找不到這些關鍵字,則模式的嚴重性會標記為NONE

異常可見性時間

建立異常偵測器時,您可以指定異常偵測器的最大異常可見性期間。這是異常在主控台中顯示並由 ListAnomaliesAPI 作業傳回的天數。經過此時間段後發生異常,如果它繼續發生,它會自動被接受為常規行為,並且異常檢測器模型停止將其標記為異常。

如果您在建立異常偵測器時未調整可見性時間,預設值會使用 21 天。

抑制異常

發現異常後,您可以選擇暫時或永久抑制它。抑制異常會導致異常偵測器停止將此發生標記為您指定的時間量的異常。當您抑制異常時,您可以選擇僅隱藏該特定異常,或隱藏與發現異常的模式相關的所有異常。

您仍然可以在主控台中檢視隱藏的異常情況。您也可以選擇停止抑制它們。

常見問答集

是否會 AWS 使用我的資料來訓練機器學習演算法,以供其他客戶 AWS 使用?

沒有 訓練所建立的異常偵測模型是以記錄群組中的記錄事件為基礎,而且只能在該記錄群組和該 AWS 帳戶中使用。

哪些類型的記錄事件可與異常偵測搭配使用?

錄異常偵測非常適合:應用程式記錄檔和其他類型的記錄,其中大多數記錄項目都符合典型模式。具有包含記錄層級或嚴重性關鍵字 (例如 INFOERRORDEBUG) 的事件的記錄群組特別適合用於記錄異常偵測。

錄異常偵測不適用於:具有極長 JSON 結構的記錄事件,例如 CloudTrail 記錄檔。模式分析最多只會分析記錄行的前 1500 個字元,因此會略過超出該限制的任何字元。

稽核或存取記錄 (例如 VPC 流程記錄) 在異常偵測方面的成功也會降低。異常偵測是為了找出應用程式問題,因此可能不適合網路或存取異常。

為了協助您判斷異常偵測器是否適用於特定記錄群組,請使用 CloudWatch 記錄檔模式分析來尋找群組中記錄事件中的模式數目。如果圖案的數量不超過 300,則異常偵測可能會運作良好。如需陣列分析的更多資訊,請參閱模式分析

什麼被標記為異常?

發生下列情況可能會導致記錄事件標記為異常:

  • 具有先前在記錄群組中看不到模式的記錄事件。

  • 已知模式的顯著變化。

  • 動態權杖的新值,其中包含一組離散的常用值。

  • 動態令牌值出現次數的大幅變化。

雖然前面的所有項目都可能被標記為異常,但它們並不意味著應用程序的效能不佳。例如,一 higher-than-usual些成200功值可能會標記為異常。在這種情況下,您可能會考慮抑制這些不表示問題的異常情況。

被屏蔽的敏感數據會發生什麼?

不會掃描任何被遮罩為敏感資料的記錄事件部分是否有異常。如需有關遮罩機密資料的詳細資訊,請參閱使用遮罩來協助保護敏感記錄資料