아마존 서비스에서의 이상 탐지 OpenSearch

Amazon OpenSearch Service의 예외 항목 탐지는 RCF (Random Cut Forest) 알고리즘을 사용하여 거의 실시간으로 OpenSearch 데이터에서 이상 징후를 자동으로 탐지합니다. RCF는 수신 데이터 스트림의 스케치를 모델링하는 비지도 기계 학습 알고리즘입니다. 알고리즘은 수신 데이터 포인트마다 anomaly grade 및 confidence score 값을 계산합니다. 이상 탐지는 이러한 값을 사용하여 데이터의 정상적인 변이와 이상을 구분합니다.

이상 탐지 플러그인을 경고 플러그인과 함께 사용하면 이상이 감지되는 즉시 알림을 받을 수 있습니다.

이상 탐지는 모든 OpenSearch 버전 또는 Elasticsearch 7.4 이상을 실행하는 도메인에서 사용할 수 있습니다. t2.micro 및 t2.small을 제외한 모든 인스턴스 유형이 이상 탐지를 지원합니다.

참고

이 설명서는 Amazon OpenSearch Service 컨텍스트에서의 예외 항목 탐지에 대한 간략한 개요를 제공합니다. 세부 단계, API 참조, 사용 가능한 모든 설정 참조, 시각화 및 대시보드 생성 단계를 포함한 포괄적인 설명서는 오픈 소스 설명서의 예외 항목 탐지를 참조하십시오. OpenSearch

필수 조건

이상 탐지의 사전 조건은 다음과 같습니다.

• 예외 항목 탐지에는 Elasticsearch 7.4 이상이 필요합니다. OpenSearch

• 예외 항목 탐지는 Elasticsearch 버전 7.9 이상 및 모든 버전의 세밀한 액세스 제어만 지원합니다. OpenSearch Elasticsearch 7.9 이전 버전의 경우 관리자만 탐지기를 생성, 확인 및 관리할 수 있습니다.

• 도메인에서 세분화된 액세스 제어를 사용하는 경우 관리자가 아닌 사용자를 OpenSearch 대시보드의 anomaly_read_access 역할에 매핑해야 탐지기를 보거나 탐지기를 생성 및 관리할 수 있습니다. anomaly_full_access

이상 탐지 시작하기

시작하려면 대시보드에서 예외 항목 탐지를 선택하세요. OpenSearch

1단계: 탐지기 생성

탐지기는 개별 이상 탐지 태스크입니다. 여러 탐지기를 생성할 수 있으며, 모든 탐지기가 서로 다른 소스의 각 분석 데이터에 대해 동시에 실행할 수 있습니다.

2단계: 탐지기에 기능 추가

기능은 이상이 있는지 확인하는 인덱스 필드입니다. 탐지기는 하나 이상의 기능에서 이상을 검색할 수 있습니다. 각 기능(average(), sum(), count(), min() 또는 max())에 대해 다음 집계 중 하나를 선택해야 합니다.

참고

count()집계 방법은 Elasticsearch 7.7 이상에서만 OpenSearch 사용할 수 있습니다. Elasticsearch 7.4의 경우 다음과 같은 사용자 지정 표현식을 사용합니다.

{
  "aggregation_name": {
     "value_count": {
        "field": "field_name"
     }
  }
}

집계 방법에 따라 이상을 구성하는 요소가 결정됩니다. 예를 들어, min()을 선택한 경우 탐지기는 기능의 최소값을 기준으로 이상을 찾는 데 초점을 맞춥니다. average()를 선택하면 탐지기가 기능의 평균값을 기준으로 이상을 찾습니다. 탐지기당 최대 5개의 기능을 추가할 수 있습니다.

다음과 같은 선택적 설정을 구성할 수 있습니다(Elasticsearch 7.7 이상에서 사용 가능).

• 범주 필드 - IP 주소, 제품 ID, 국가 코드 등과 같은 차원으로 데이터를 분류하거나 분할할 수 있습니다.

• 창 크기 - 검색 창에서 고려할 데이터 스트림의 집계 간격 수를 설정합니다.

기능을 설정한 후 샘플 이상을 미리 보고 필요한 경우 기능 설정을 조정합니다.

3단계: 결과 관찰

• 라이브 이상(Live anomalies) - 지난 60개 간격 동안의 라이브 이상 결과를 표시합니다. 예를 들어, 간격이 10으로 설정된 경우 지난 600분 동안의 결과를 표시합니다. 이 차트는 30초마다 새로 고쳐집니다.

• 이상 기록(Anomaly history) - 해당 신뢰도 척도와 함께 이상 등급을 플롯합니다.

• 기능 분석(Feature breakdown) - 집계 방법을 기준으로 기능을 플롯합니다. 탐지기의 날짜-시간 범위를 변경할 수 있습니다.

• 이상 발생(Anomaly occurrence) - 탐지된 각 이상에 대한 Start time, End time, Data confidence 및 Anomaly grade이 표시됩니다.

  범주 필드를 설정하면 추가 열 지도 차트에서 비정상적인 항목에 대한 결과의 상관관계를 분석합니다. 채워진 직사각형을 선택하면 이상에 대해 세부적으로 볼 수 있습니다.

4단계: 알림 설정

이상이 탐지될 때 알림을 보낼 모니터를 생성하려면 알림 설정(Set up alert)을 선택합니다. 플러그인은 알림을 구성할 수 있는 모니터 추가 페이지로 리디렉션합니다.