ストレージの動作

最適化エンジンは 2 つの構造にデータを保存し、それぞれが目的に合わせて最適化されています。

構造	形式	目的
分析ストレージ	Apache Parquet (列、ネイティブ圧縮)	集計、結合、範囲スキャン、傾向分析
検索インデックス	Lucene 反転インデックス	フレーズ、あいまい、ワイルドカードマッチング

Parquet は、Lucene のディスク上の構造 (ドキュメント値、BKD ツリー、ストアドフィールド) の 3 つを 1 つの圧縮列形式に置き換えます。反転インデックスは全文検索のために保持されます。このアーキテクチャは、検索を有効にした一般的なオブザーバビリティワークロードのストレージ要件を大幅に削減します。

ストレージ階層

最適化エンジンは、Amazon S3 とローカルインスタンスストレージを組み合わせた Amazon OpenSearch Service の多層ストレージアーキテクチャを使用し、OpenSearch Optimized Instances を搭載しています。

Tier	目的	インスタンス
ホット	アクティブな取り込みと頻繁なクエリ	OpenSearch 最適化インスタンス (OR1、OR2、または OM2)
ウォーム	低頻度のクエリと保持期間の延長 (読み取り専用)	マネージドストレージを使用する OI2 インスタンス

Amazon S3 は、耐久性のために Parquet ファイルと逆インデックスセグメントの両方をバックアップします。インデックス状態管理 (ISM) ポリシーを使用して、経過時間、シャードサイズ、またはその他の条件に基づいてデータをホットからウォームに移行します。

重要

最適化エンジンでは、ウォーム階層は読み取り専用です。一般的な多層ストレージアーキテクチャはウォーム階層への書き込みをサポートしていますが、最適化されたドメインはウォーム階層での書き込みオペレーションをサポートしていません。ホット階層にデータを取り込んで、インデックス状態管理 (ISM) ポリシーを使用してウォームに移行します。