View a markdown version of this page

存储行为 - 亚马逊 OpenSearch 服务

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

存储行为

Optimized 引擎将数据存储在两个结构中,每个结构都针对其目的进行了优化。

结构 Format 用途
分析存储 Apache Parquet(柱状,原生压缩) 聚合、联接、范围扫描和趋势分析
搜索索引 Lucene 倒置指数 短语、模糊和通配符匹配

Parquet 用一种压缩的列式格式替换了 Lucene 的三个磁盘结构(文档值、BKD 树和存储的字段)。保留倒排索引以进行全文搜索。该架构在启用搜索的情况下显著降低了典型可观测性工作负载的存储需求。

存储层

优化引擎使用该适用于 Amazon OpenSearch 服务的多层存储架构,该架构将 Amazon S3 与本地实例存储相结合,并由 OpenSearch优化实例提供支持。

Tier 用途 实例
热 主动摄取和频繁查询 OpenSearch 优化的实例(OR1、OR2 或 OM2)
暖 不频繁的查询和延长的保留期(只读) 带有托管存储的 OI2 实例

为了保持持久性,Amazon S3 同时支持 Parquet 文件和反向索引分段。使用索引状态管理 (ISM) 策略根据年限、分片大小或其他条件将数据从热状态转换为热数据。

重要

在优化引擎上,暖层是只读的。尽管一般的多层存储架构支持对温层的写入,但优化的域不支持温层中的写入操作。将数据摄取到热层,然后使用索引状态管理 (ISM) 策略将其转换为热层。