로그 이상 탐지

각 로그 그룹에 대해 로그 이상 탐지기를 만들 수 있습니다. 예외 항목 탐지기는 로그 그룹에 수집된 로그 이벤트를 스캔하고 로그 데이터에서 이상을 찾습니다. 이상 탐지는 기계 학습과 패턴 인식을 사용하여 일반적인 로그 콘텐츠의 기준을 설정합니다.

로그 그룹에 대한 예외 항목 탐지기를 만든 후에는 로그 그룹에서 지난 2주간의 로그 이벤트를 학습에 사용하여 훈련합니다. 교육 기간은 최대 15분이 소요될 수 있습니다. 교육이 완료되면 들어오는 로그를 분석하여 이상 징후를 식별하기 시작합니다. 그러면 로그 콘솔에 이상 징후가 표시되어 검사할 수 있습니다. CloudWatch

CloudWatch 로그 패턴 인식은 로그의 정적 및 동적 콘텐츠를 식별하여 로그 패턴을 추출합니다. 패턴은 많은 수의 로그 이벤트가 종종 몇 가지 패턴으로 압축될 수 있기 때문에 대규모 로그 세트를 분석하는 데 유용합니다.

예를 들어, 세 가지 로그 이벤트의 다음 샘플을 참조하십시오.

2023-01-01 19:00:01 [INFO] Calling DynamoDB to store for resource id 12342342k124-12345
2023-01-01 19:00:02 [INFO] Calling DynamoDB to store for resource id 324892398123-12345
2023-01-01 19:00:03 [INFO] Calling DynamoDB to store for resource id 3ff231242342-12345

이전 샘플에서는 세 개의 로그 이벤트가 모두 한 가지 패턴을 따릅니다.

<*> <*> [INFO] Calling DynamoDB to store for resource id <*>

패턴 내의 필드를 토큰이라고 합니다. 요청 ID 또는 타임스탬프와 같이 패턴 내에서 달라지는 필드를 동적 토큰이라고 합니다. 동적 토큰은 CloudWatch Logs에 <*> 패턴이 표시되는 시점으로 표시됩니다. 동적 토큰에 대해 발견된 각각의 다른 값을 토큰 값이라고 합니다.

동적 토큰의 일반적인 예로는 오류 코드, 타임스탬프, 요청 ID 등이 있습니다.

로그 이상 탐지는 이러한 패턴을 사용하여 이상을 찾습니다. 이상 탐지기 모델 교육 기간이 지나면 알려진 추세와 비교하여 로그를 평가합니다. 이상 감지기는 큰 변동을 이상 현상으로 표시합니다.

로그 이상 탐지기 생성에는 요금이 부과되지 않습니다.

이상 및 패턴의 심각도 및 우선 순위

로그 이상 탐지기에서 발견된 각 예외 항목에는 우선 순위가 할당됩니다. 발견된 각 패턴에는 심각도가 할당됩니다.

• 우선 순위는 자동으로 계산되며, 패턴의 심각도 수준과 예상 값과의 편차 정도에 따라 결정됩니다. 예를 들어 특정 토큰 값이 갑자기 500% 증가하면 심각도가 높더라도 해당 예외 항목이 HIGH 우선 순위로 지정될 수 있습니다. NONE

• 심각도는FATAL,, ERROR 등의 패턴에서 발견된 키워드만을 기준으로 합니다. WARN 이러한 키워드가 하나도 발견되지 않으면 패턴의 심각도가 로 표시됩니다NONE.

예외 항목 가시성 시간

예외 항목 탐지기를 만들 때 해당 탐지기의 최대 예외 항목 가시성 기간을 지정합니다. 콘솔에 예외 항목이 표시되고 API 작업에 의해 반환되는 일수입니다. ListAnomalies 이 기간이 경과한 이상 징후가 계속 발생하면 자동으로 정상 동작으로 받아들여지고 이상 탐지기 모델은 이를 이상 징후로 표시하는 것을 중단합니다.

이상 감지기를 만들 때 가시성 시간을 조정하지 않으면 21일이 기본값으로 사용됩니다.

예외 항목 억제

예외 항목이 발견된 후 일시적 또는 영구적으로 억제하도록 선택할 수 있습니다. 예외 항목을 억제하면 예외 항목 탐지기가 지정한 시간 동안 이 발생을 예외 항목으로 플래깅하는 것을 중지합니다. 예외를 억제할 때 해당 특정 예외만 억제하거나 예외가 발견된 패턴과 관련된 모든 예외를 억제하도록 선택할 수 있습니다.

콘솔에서는 숨겨진 예외 항목을 계속 볼 수 있습니다. 억제를 중단하도록 선택할 수도 있습니다.

자주 묻는 질문(FAQ)

내 데이터를 AWS 사용하여 기계 학습 알고리즘을 학습시켜 사용하거나 다른 고객을 위해 AWS 사용하나요?

아니요. 교육을 통해 생성된 이상 탐지 모델은 로그 그룹의 로그 이벤트를 기반으로 하며 해당 로그 그룹과 해당 계정 내에서만 사용됩니다. AWS

예외 항목 탐지에 적합한 로그 이벤트 유형은 무엇입니까?

로그 이상 탐지는 애플리케이션 로그 및 대부분의 로그 항목이 일반적인 패턴에 맞는 기타 유형의 로그에 적합합니다. INFO, ERROR, DEBUG와 같은 로그 수준 또는 심각도 키워드가 포함된 이벤트가 있는 로그 그룹은 로그 이상 탐지에 특히 적합합니다.

로그 이상 탐지는 로그와 같이 JSON 구조가 매우 긴 로그 이벤트에는 적합하지 않습니다. CloudTrail 패턴 분석은 로그 줄의 처음 1500자까지만 분석하므로 이 제한을 초과하는 문자는 건너뛰게 됩니다.

VPC 흐름 로그와 같은 감사 또는 액세스 로그도 예외 항목 탐지의 성공률이 떨어집니다. 이상 탐지는 애플리케이션 문제를 찾기 위한 것이므로 네트워크 또는 액세스 이상에는 적합하지 않을 수 있습니다.

예외 항목 탐지기가 특정 로그 그룹에 적합한지 여부를 판단하려면 로그 패턴 분석을 사용하여 그룹 내 CloudWatch 로그 이벤트의 패턴 수를 찾아보십시오. 패턴 수가 약 300개를 넘지 않는 경우 이상 탐지가 잘 작동할 수 있습니다. 패턴 분석에 대한 자세한 내용은 을 참조하십시오. 패턴 분석

예외 항목으로 플래그가 지정되는 것은 무엇입니까?

다음과 같은 경우 로그 이벤트가 예외 항목으로 플래그가 지정될 수 있습니다.

• 이전에 로그 그룹에서 볼 수 없었던 패턴을 가진 로그 이벤트입니다.

• 알려진 패턴과 크게 달라졌습니다.

• 개별 일반 값 집합이 있는 동적 토큰의 새 값입니다.

• 동적 토큰의 값 발생 횟수가 크게 변경되었습니다.

위의 모든 항목이 예외 항목으로 표시될 수 있지만, 그렇다고 해서 응용 프로그램이 제대로 작동하지 않는 것은 아닙니다. 예를 들어 higher-than-usual 여러 200 성공 값이 예외 항목으로 표시될 수 있습니다. 이와 같은 경우에는 문제를 나타내지 않는 이러한 예외를 억제하는 방안을 고려할 수 있습니다.

마스킹되는 민감한 데이터는 어떻게 되나요?

민감한 데이터로 마스킹된 로그 이벤트의 모든 부분은 예외 항목이 있는지 스캔되지 않습니다. 민감한 데이터를 마스킹하는 방법에 대한 자세한 내용은 마스킹을 통한 민감한 로그 데이터 보호 지원을 참조하십시오.