Dukungan Codec Zstandard di Amazon Tanpa Server OpenSearch

Codec indeks menentukan bagaimana bidang tersimpan indeks dikompresi dan disimpan pada disk dan di S3. Codec indeks dikendalikan oleh index.codec pengaturan statis yang menentukan algoritma kompresi. Pengaturan ini berdampak pada ukuran pecahan indeks dan kinerja operasi indeks.

Secara default, indeks di OpenSearch Serverless menggunakan codec default dengan algoritma kompresi. LZ4 OpenSearch Serverless juga mendukung zstd dan zstd_no_dict codec dengan tingkat kompresi yang dapat dikonfigurasi dari 1 hingga 6.

penting

Karena index.codec adalah pengaturan statis, itu tidak dapat diubah setelah pembuatan indeks.

Untuk detail selengkapnya, lihat dokumentasi Codec OpenSearch Indeks.

Membuat indeks dengan codec ZSTD

Anda dapat menentukan codec ZSTD selama pembuatan indeks menggunakan pengaturan: index.codec

PUT /your_index
{
  "settings": {
    "index.codec": "zstd"
  }
}

Tingkat kompresi

Codec ZSTD mendukung tingkat kompresi opsional melalui index.codec.compression_level pengaturan, menerima bilangan bulat dalam kisaran [1, 6]. Tingkat kompresi yang lebih tinggi menghasilkan rasio kompresi yang lebih baik (penyimpanan yang lebih kecil) tetapi kecepatan kompresi dan dekompresi yang lebih lambat. Tingkat kompresi default adalah 3.

PUT /your_index
{
  "settings": {
    "index.codec": "zstd",
    "index.codec.compression_level": 2
  }
}

Benchmarking kinerja

Berdasarkan pengujian benchmark dengan dataset nyc_taxi, kompresi ZSTD mencapai kompresi 26-32% lebih baik dibandingkan dengan baseline di berbagai kombinasi,, dan tingkat kompresi. zstd zstd_no_dict

Metrik	ZSTD L1	ZSTD L6	ZSTD_NO_DICT L1	ZSTD_NO_DICT L6
Pengurangan Ukuran Indeks	28,10%	32%	26,90%	28,70%
Perubahan Throughput Pengindeksan	-0,50%	-23,80%	-0,50%	-5,30%
Perbaikan Latensi Match-all Query p90	-16,40%	29,50%	-16,40%	23,40%
Rentang Kueri p90 Peningkatan Latensi	90,90%	92,40%	-282,90%	92,50%
Jumlah Jarak p90 Peningkatan Latensi Agg	2%	24,70%	2%	13,80%

Untuk lebih jelasnya, lihat AWS OpenSearch blog.