Amazon OpenSearch Service でのインデックスステート管理 - Amazon OpenSearch Service (Amazon Elasticsearch Service の後継サービス)

Amazon OpenSearch Service でのインデックスステート管理

Amazon OpenSearch Service でのインデックスステート管理 (ISM) を用いてカスタム管理ポリシーを定義し、ルーチンタスクを自動化して、それらをインデックスおよびインデックスパターンに適用できます。これにより、インデックスオペレーションを実行するために、外部プロセスを設定および管理する必要がなくなります。

ポリシーには、デフォルトの状態と、移行するインデックスの状態一覧が含まれています。各状態内で、実行するアクションのリストと、移行をトリガーする条件を定義できます。典型的なユースケースは、一定期間後に古いインデックスを定期的に削除することです。たとえば、30 日後にインデックスを read_only 状態に移行して、90 日後に最終的に削除するポリシーを定義できます。

ポリシーをインデックスにアタッチすると、ISM は 30~48 分ごとに実行されるジョブを作成し、ポリシーアクションを実行して条件を確認してから、インデックスを別の状態に移行します。このジョブを実行する基本時間は 30 分ごとです。さらに、0~60% のランダムなジッターが追加され、すべてのインデックスから同時にアクティビティが急増しないようにします。クラスターの状態が赤の場合、ISM はジョブを実行しません。

ISM では、OpenSearch または Elasticsearch 6.8 が必要です。完全なドキュメントは、「OpenSearch ドキュメント」で入手できます。

重要

インデックステンプレートの policy_id 設定は、非推奨です。インデックステンプレートを使用して、新しく作成されたインデックスに ISM ポリシーを適用することはできなくなりました。ISM テンプレートフィールドを用いて、新しく作成されたインデックスを引き続き自動的に管理することができます。この更新では、この設定を使用する既存の CloudFormation テンプレートに影響する重大な変更が導入されました。

ISM ポリシーを作成する

ISM の使用を開始するには、OpenSearch Dashboards のメインメニューから [インデックス管理] を選択し、[ポリシーの作成] を選択します。

ポリシーを作成した後、次のステップは、1 つまたは複数のインデックスにポリシーをアタッチすることです。

POST _plugins/_ism/add/my-index { "policy_id": "my-policy-id" }

または、OpenSearch Dashboards でインデックスを選択し、[ポリシーの適用] を選択します。

サンプルポリシー

次のサンプルポリシーは、一般的な ISM ユースケースを自動化する方法を示しています。

ホットからウォーム、またコールドストレージまで

このサンプルポリシーでは、インデックスをホットストレージから UltraWarm に移動し、最終的にコールドストレージに移動してから、インデックスを削除します。

インデックスは、最初は hot 状態です。10 日後、ISM はインデックスを warm 状態に移動します。その 80 日後、90 日が経過したインデックスは cold 状態に移動します。1 年後、サービスは、インデックスを削除中であるという通知を Amazon Chime ルームに送信してから、完全にインデックスを削除します。

コールドインデックスは通常の delete オペレーションではなく、cold_delete オペレーションが必要であることに注意してください。また、明示的な timestamp_field は、ISM でコールドインデックスを管理するためにデータで必要であることに注意してください。

{ "policy": { "description": "Demonstrate a hot-warm-cold-delete workflow.", "default_state": "hot", "schema_version": 1, "states": [{ "name": "hot", "actions": [], "transitions": [{ "state_name": "warm", "conditions": { "min_index_age": "10d" } }] }, { "name": "warm", "actions": [{ "warm_migration": {}, "retry": { "count": 5, "delay": "1h" } }], "transitions": [{ "state_name": "cold", "conditions": { "min_index_age": "90d" } }] }, { "name": "cold", "actions": [{ "cold_migration": { "timestamp_field": "@timestamp" } } ], "transitions": [{ "state_name": "delete", "conditions": { "min_index_age": "365d" } }] }, { "name": "delete", "actions": [{ "notification": { "destination": { "chime": { "url": "<URL>" } }, "message_template": { "source": "The index {{ctx.index}} is being deleted." } } }, { "cold_delete": {} }] } ] } }

レプリカの数を減らす

このサンプルポリシーはもう少し単純で、ディスク容量を節約するために 7 日後にレプリカ数をゼロに減らし、21 日後にインデックスを削除します。このポリシーは、インデックスが重要ではなく、書き込みリクエストをこれ以上受信しないことを前提としています。レプリカ数をゼロにすると、データ損失のリスクがあります。

{ "policy": { "description": "Changes replica count and deletes.", "schema_version": 1, "default_state": "current", "states": [{ "name": "current", "actions": [], "transitions": [{ "state_name": "old", "conditions": { "min_index_age": "7d" } }] }, { "name": "old", "actions": [{ "replica_count": { "number_of_replicas": 0 } }], "transitions": [{ "state_name": "delete", "conditions": { "min_index_age": "21d" } }] }, { "name": "delete", "actions": [{ "delete": {} }], "transitions": [] } ] } }

インデックスのスナップショットを撮る

このサンプルポリシーでは、snapshot オペレーションを使用して、インデックスに少なくとも 1 つのドキュメントが含まれているとすぐに、インデックスのスナップショットを撮ります。repository は、Amazon S3 に登録した手動スナップショットリポジトリの名前です。snapshot は、スナップショットの名前です。スナップショットの前提条件およびリポジトリを登録する手順については、「Amazon OpenSearch Service でのインデックススナップショットの作成」を参照してください。

{ "policy": { "description": "Takes an index snapshot.", "schema_version": 1, "default_state": "empty", "states": [{ "name": "empty", "actions": [], "transitions": [{ "state_name": "occupied", "conditions": { "min_doc_count": 1 } }] }, { "name": "occupied", "actions": [{ "snapshot": { "repository": "<my-repository>", "snapshot": "<my-snapshot>" } }], "transitions": [] } ] } }

ISM テンプレート

ism_template フィールドをポリシーにセットアップすると、テンプレートパターンと一致するインデックスを作成したときに、ポリシーがそのインデックスに自動的にアタッチされるようになります。この例では、「log」で始まる名前で作成したインデックスは、自動的に ISM ポリシーmy-policy-id と一致します。

PUT _plugins/_ism/policies/my-policy-id { "policy": { "description": "Example policy.", "default_state": "...", "states": [...], "ism_template": { "index_patterns": ["log*"], "priority": 100 } } }

より詳細な例については、「ISM テンプレートを用いたサンプルポリシー」を参照してください。

Differences

OpenSearch および Elasticsearch と比較して、ISM for Amazon OpenSearch Service にはいくつかの違いがあります。

ISM オペレーション

  • OpenSearch Service は、3 つの固有の ISM オペレーション、warm_migrationcold_migration、および cold_delete をサポートします。

    ドメインで UltraWarm が有効になっている場合、warm_migration アクションはインデックスをウォームストレージに移行します。warm_migration アクションが設定されたタイムアウト期間内に完了しない場合でも、ウォームインデックスへの移行はまだ継続しています。

    warm_migration アクションのための error_notifcation の設定により、warm_migration アクションがタイムアウト期間内に完了しなかった場合、それが失敗したことが通知される場合があります。この失敗した通知は、自身の参照用のみです。実際のウォーム移行オペレーションには、固有のタイムアウトはなく、最終的に成功または失敗するまで実行され続けます。

  • ドメインが OpenSearch または Elasticsearch 7.4 以降を実行している場合、OpenSearch Service は ISM open および close オペレーションをサポートします。

  • ドメインが OpenSearch または Elasticsearch 7.7 以降を実行している場合、OpenSearch サービスは ISM snapshot オペレーションをサポートします。

コールドストレージ ISM オペレーション

コールドインデックスでは、次の ISM API を使用するときに ?type=_cold パラメータを指定する必要があります。

  • ポリシーの追加

  • ポリシーの削除

  • ポリシーの変更

  • 失敗したマネージドインデックスの再試行

  • インデックスの説明

コールドインデックスのこれらの API には、次のような違いがあります。

  • ワイルドカード演算子は、最後に使用する場合を除き、サポートされていません。例えば、_plugins/_ism/<add, remove, change_policy, retry, explain>/logstash-* はサポートされていますが、_plugins/_ism/<add, remove, change_policy, retry, explain>/iad-*-prod はサポートされていません。

  • 複数のインデックスの名前とパターンはサポートされていません。例えば、_plugins/_ism/<add, remove, change_policy, retry, explain>/app-logs はサポートされていますが、_plugins/_ism/<add, remove, change_policy, retry, explain>/app-logs,sample-data はサポートされていません。

ISM の設定

OpenSearch と Elasticsearch を使用すると、_cluster/settings API を使用して利用可能なすべての ISM 設定を変更することができます。Amazon OpenSearch Service では、次の設定のみを変更できます。

  • クラスターレベルの設定:

    • enabled

    • history.enabled

  • インデックスレベルの設定:

    • rollover_alias