Suporte ao codec Zstandard no Amazon Serverless OpenSearch

Os codecs de índice determinam como os campos armazenados de um índice são compactados e armazenados no disco e no S3. O codec de índice é controlado pela index.codec configuração estática que especifica o algoritmo de compactação. Essa configuração afeta o tamanho do fragmento de índice e o desempenho da operação do índice.

Por padrão, os índices no OpenSearch Serverless usam o codec padrão com o algoritmo de compactação. LZ4 OpenSearch O Serverless também oferece suporte zstd e zstd_no_dict codecs com níveis de compressão configuráveis de 1 a 6.

Importante

Como index.codec é uma configuração estática, ela não pode ser alterada após a criação do índice.

Para obter mais detalhes, consulte a documentação do OpenSearch Index Codecs.

Criando um índice com o codec ZSTD

Você pode especificar o codec ZSTD durante a criação do índice usando a configuração: index.codec

PUT /your_index
{
  "settings": {
    "index.codec": "zstd"
  }
}

Níveis de compressão

Os codecs ZSTD suportam níveis de compressão opcionais por meio da index.codec.compression_level configuração, aceitando números inteiros no intervalo [1, 6]. Níveis de compressão mais altos resultam em melhores taxas de compressão (menor armazenamento), mas em velocidades de compressão e descompressão mais lentas. O nível de compactação padrão é 3.

PUT /your_index
{
  "settings": {
    "index.codec": "zstd",
    "index.codec.compression_level": 2
  }
}

Avaliação comparativa de desempenho

Com base em testes de benchmark com o conjunto de dados nyc_taxi, a compressão ZSTD alcançou uma compressão 26-32% melhor em comparação com a linha de base em diferentes combinações de, e níveis de compressão. zstd zstd_no_dict

Métrica	STD L1	STD L6	STD_NO_DICT L1	STD_NO_DICT L6
Redução do tamanho do índice	28,10%	32%	26,90%	28,70%
Alteração da taxa de transferência de indexação	-0,50%	-23,80%	-0,50%	-5,30%
Melhoria da latência do Match-all Query p90	-16,40%	29,50%	-16,40%	23,40%
Melhoria da latência do Range Query p90	90,90%	92,40%	-282,90%	92,50%
Quantidade de distância p90 Agg (melhoria da latência)	2%	24,70%	2%	13,80%

Para obter mais detalhes, consulte o AWS OpenSearch blog.