Support für Standardcodecs in Amazon Serverless OpenSearch

Index-Codecs bestimmen, wie die gespeicherten Felder eines Indexes komprimiert und auf der Festplatte und in S3 gespeichert werden. Der Index-Codec wird durch die statische index.codec Einstellung gesteuert, die den Komprimierungsalgorithmus angibt. Diese Einstellung wirkt sich sowohl auf die Größe des Index-Shards als auch auf die Leistung des Indexvorgangs aus.

Standardmäßig verwenden Indizes in OpenSearch Serverless den Standardcodec mit dem Komprimierungsalgorithmus. LZ4 OpenSearch Serverless unterstützt zstd auch zstd_no_dict Codecs mit konfigurierbaren Komprimierungsstufen von 1 bis 6.

Wichtig

Da es index.codec sich um eine statische Einstellung handelt, kann sie nach der Indexerstellung nicht geändert werden.

Weitere Informationen finden Sie in der Dokumentation zu den OpenSearch Index-Codecs.

Einen Index mit dem ZSTD-Codec erstellen

Sie können den ZSTD-Codec während der Indexerstellung mit der folgenden Einstellung angeben: index.codec

PUT /your_index
{
  "settings": {
    "index.codec": "zstd"
  }
}

Kompressionsstufen

ZSTD-Codecs unterstützen über die index.codec.compression_level Einstellung optionale Komprimierungsstufen und akzeptieren Ganzzahlen im Bereich [1, 6]. Höhere Komprimierungsstufen führen zu besseren Komprimierungsverhältnissen (kleinerer Speicherplatz), aber zu langsameren Komprimierungs- und Dekomprimierungsgeschwindigkeiten. Die Standardkomprimierungsstufe ist 3.

PUT /your_index
{
  "settings": {
    "index.codec": "zstd",
    "index.codec.compression_level": 2
  }
}

Leistungs-Benchmarking

Basierend auf Benchmark-Tests mit dem nyc_taxi-Datensatz erzielte die STD-Komprimierung bei verschiedenen Kombinationen vonzstd, und Komprimierungsstufen eine um 26 bis 32% bessere Komprimierung als beim Ausgangswert. zstd_no_dict

Metrik	ZSTD L1	ZSTD L6	ZSTD_NO_DICT L1	ZSTD_NO_DICT L6
Reduzierung der Indexgröße	28,10%	32%	26,90%	28,70%
Änderung des Indizierungsdurchsatzes	-0,50%	-23,80%	-0,50%	-5,30%
Verbesserung der Latenz von Match-All Query p90	-16,40%	29,50%	-16,40%	23,40%
Verbesserung der Latenz bei Range Query p90	90,90%	92,40%	-282,90%	92,50%
Entfernungsmenge p90 Verbesserung der Agg-Latenz	2%	24,70%	2%	13,80%

Weitere Informationen finden Sie im AWS OpenSearch Blog.