Amazon OpenSearch Service での異常検出 - Amazon OpenSearch サービス

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon OpenSearch Service での異常検出

Amazon OpenSearch Service での異常検出は、Random Cut Forest (RCF) アルゴリズムを使用して、 OpenSearch データの異常をほぼリアルタイムで自動的に検出します。RCFは、受信データストリームのスケッチをモデル化する教師なしの機械学習アルゴリズムです。このアルゴリズムにより、受信データポイントごとに、anomaly grade および confidence score の値が計算されます。異常検出は、これらの値を使用して、データの通常の変動と異常を区別します。

異常検出プラグインとアラートプラグインをペアリングして、異常が検出されるとすぐに通知できます。

異常検出は、任意の OpenSearch バージョンまたは Elasticsearch 7.4 以降を実行しているドメインで使用できます。t2.micro と t2.small を除くすべてのインスタンスタイプで、異常検出がサポートされています。

注記

このドキュメントでは、Amazon OpenSearch Service のコンテキストにおける異常検出の概要を説明します。詳細なステップ、API リファレンス、使用可能なすべての設定のリファレンス、視覚化とダッシュボードを作成するステップを含む包括的なドキュメントについては、オープンソース OpenSearch ドキュメントの「異常検出」を参照してください。

前提条件

異常検出には、次のような前提条件があります。

  • 異常検出には、 OpenSearch または Elasticsearch 7.4 以降が必要です。

  • 異常検出は、Elasticsearch バージョン 7.9 以降および のすべてのバージョンで、きめ細かなアクセスコントロールのみをサポートします OpenSearch。Elasticsearch 7.9 より前のバージョンでは、ディテクターを作成、表示、管理できるのは管理者ユーザーのみです。

  • ドメインがきめ細かなアクセスコントロールを使用している場合、管理者以外のユーザーは、ディテクターを表示したり、ディテクターを作成および管理したりするために、 OpenSearch Dashboards anomaly_full_access のanomaly_read_accessロールにマッピングする必要があります。

異常検出の開始方法

開始するには、 OpenSearch ダッシュボードで異常検出を選択します。

ステップ 1: ディテクターを作成する

ディテクターは、個別の異常検出タスクです。複数のディテクターを作成し、すべてのディテクターを同時に実行すると、それぞれ別々のソースからのデータを分析できます。

ステップ 2: ディテクターに機能を追加する

機能とは、異常をチェックするインデックス内のフィールドを指します。ディテクターでは、1 つ以上の機能について異常を検出できます。機能ごとに、以下の集計の 1 つを選択する必要があります: average()、sum()、count()、min()、または max()。

注記

count() 集約方法は、 OpenSearch および Elasticsearch 7.7 以降でのみ使用できます。Elasticsearch 7.4では、次のようなカスタム式を使用します。

{
  "aggregation_name": {
     "value_count": {
        "field": "field_name"
     }
  }
}

集計方法によって、検出される異常の性質も異なります。例えば、min() を選択した場合、ディテクターは機能の最小値に基づいて異常を検出します。average() を選択した場合、ディテクターは機能の平均値に基づいて異常を検出します。ディテクターごとに追加できる機能は、最大 5 つです。

以下のオプション設定を指定できます（Elasticsearch 7.7 以降で使用可能）。

  • Category field (カテゴリフィールド) - IPアドレス、製品 ID、国コードなどのディメンションでデータを分類またはスライスします。

  • Window size (ウィンドウサイズ) - 検出ウィンドウで考慮するデータストリームからの集計間隔の数を設定します。

機能を設定したならば、サンプルの異常をプレビューし、必要に応じて機能の設定を調整します。

ステップ 3: 結果を観察する

異常検出ダッシュボードでは、次の可視化を利用できます。

  • Live anomalies (ライブ異常) - 過去 60 間隔のライブ異常結果を表示します。たとえば、間隔を 10 に設定すると、過去 600 分間の結果が表示されます。このグラフは 30 秒ごとに更新されます。

  • Anomaly history (異常履歴) - 対応する測定指標とともに、異常の等級を示します。

  • Feature breakdown (機能分類) - 集計方法に基づいて機能を分類します。ディテクターの日時の範囲は変更できます。

  • Anomaly occurrence (異常出現) - 検出された各異常の Start time、End time、Data confidence、および Anomaly grade を示します。

    カテゴリフィールドを設定すると、異常エンティティの結果を関連付ける、追加のヒートマップチャートが表示されます。塗りつぶされた長方形を選択すると、異常のより詳細なビューが表示されます。

ステップ 4: アラートのセットアップ

異常が検出されたときに通知を受け取るためのモニターを作成するには、[アラートのセットアップ] を選択します。プラグインにより、アラートを設定できる [モニターの追加] ページにリダイレクトされます。