Support du codec Zstandard dans Amazon Serverless OpenSearch

Les codecs d'index déterminent comment les champs stockés d'un index sont compressés et stockés sur disque et dans S3. Le codec d'index est contrôlé par le index.codec paramètre statique qui spécifie l'algorithme de compression. Ce paramètre a un impact à la fois sur la taille de la partition d'index et sur les performances de fonctionnement de l'index.

Par défaut, les index dans OpenSearch Serverless utilisent le codec par défaut avec l' LZ4 algorithme de compression. OpenSearch Serverless prend également en charge zstd et zstd_no_dict codecs avec des niveaux de compression configurables de 1 à 6.

Important

Comme il index.codec s'agit d'un paramètre statique, il ne peut pas être modifié après la création de l'index.

Pour plus de détails, consultez la documentation relative aux codecs d'OpenSearch index.

Création d'un index avec le codec ZSTD

Vous pouvez spécifier le codec ZSTD lors de la création de l'index à l'aide du paramètre : index.codec

PUT /your_index
{
  "settings": {
    "index.codec": "zstd"
  }
}

Niveaux de compression

Les codecs ZSTD prennent en charge les niveaux de compression optionnels via le index.codec.compression_level paramètre, en acceptant les entiers compris dans la plage [1, 6]. Des niveaux de compression plus élevés se traduisent par de meilleurs taux de compression (stockage réduit) mais des vitesses de compression et de décompression plus lentes. Le niveau de compression par défaut est le niveau 3.

PUT /your_index
{
  "settings": {
    "index.codec": "zstd",
    "index.codec.compression_level": 2
  }
}

Analyse comparative des performances

Sur la base de tests de référence réalisés avec le jeu de données nyc_taxi, la compression ZSTD a permis d'obtenir une compression supérieure de 26 à 32 % par rapport à la valeur de référence pour différentes combinaisons de niveaux de compression et de niveaux de zstd compression. zstd_no_dict

Métrique	ZSTD L1	ZSTD L6	ZSTD_NO_DICT L1	ZSTD_NO_DICT P6
Réduction de la taille de l'index	28,10 %	32 %	26,90 %	28,70 %
Modification du débit d'indexation	-0,50 %	-23,80 %	-0,50 %	-5,30 %
Amélioration de la latence de Match-all Query p90	-16,40 %	29,50 %	-16,40 %	23,40 %
Amélioration de la latence de Range Query p90	90,90 %	92,40 %	-282,90 %	92,50 %
Distance, quantité, p90, amélioration de la latence Agg	2 %	24,70 %	2 %	13,80 %

Pour plus de détails, consultez le AWS OpenSearch blog.