Compressão de solicitações HTTP no Amazon OpenSearch Service

Você pode compactar solicitações e respostas HTTP nos domínios do Amazon OpenSearch Service usando a compressão gzip. A compactação gzip pode ajudar a reduzir o tamanho de seus documentos e reduzir a utilização e a latência da largura de banda, levando a velocidades de transferência aprimoradas.

A compactação Gzip é compatível com todos os domínios que executam o Elasticsearch 6.0 OpenSearch ou posterior. Alguns OpenSearch clientes têm suporte integrado para compressão gzip, e muitas linguagens de programação têm bibliotecas que simplificam o processo.

Habilitação da compactação gzip

Não deve ser confundido com OpenSearch configurações semelhantes, http_compression.enabled é específico do OpenSearch Serviço e ativa ou desativa a compactação gzip em um domínio. Domínios em execução OpenSearch ou Elasticsearch 7. x têm a compactação gzip ativada por padrão, enquanto os domínios que executam o Elasticsearch 6. x desabilite-o por padrão.

Para habilitar a compactação gzip, envie a seguinte solicitação:

PUT _cluster/settings
{
  "persistent" : {
    "http_compression.enabled": true
  }
}

As solicitações para _cluster/settings devem ser descompactadas, então você talvez precise usar um cliente separado ou uma solicitação HTTP padrão para atualizar as configurações do cluster.

Para confirmar que você ativou com sucesso a compactação gzip, envie a seguinte solicitação:

GET _cluster/settings?include_defaults=true

Verifique se você vê a seguinte configuração na resposta:

...
"http_compression": {
  "enabled": "true"
}
...

Cabeçalhos obrigatórios

Ao incluir um corpo de solicitação compactado com gzip, mantenha o cabeçalho Content-Type: application/json padrão e adicione o cabeçalho Content-Encoding: gzip. Para aceitar uma resposta compactada por gzip, adicione o cabeçalho Accept-Encoding: gzip também. Se um OpenSearch cliente oferecer suporte à compressão gzip, provavelmente incluirá esses cabeçalhos automaticamente.

Código de exemplo (Python 3)

O exemplo a seguir usa opensearch-py para executar a compactação e enviar a solicitação. Esse código assina a solicitação usando suas credenciais do IAM.

from opensearchpy import OpenSearch, RequestsHttpConnection
from requests_aws4auth import AWS4Auth
import boto3

host = '' # e.g. my-test-domain.us-east-1.es.amazonaws.com
region = '' # e.g. us-west-1
service = 'es'
credentials = boto3.Session().get_credentials()
awsauth = AWS4Auth(credentials.access_key, credentials.secret_key, region, service, session_token=credentials.token)

# Create the client.
search = OpenSearch(
    hosts = [{'host': host, 'port': 443}],
    http_auth = awsauth,
    use_ssl = True,
    verify_certs = True,
    http_compress = True, # enables gzip compression for request bodies
    connection_class = RequestsHttpConnection
)

document = {
  "title": "Moneyball",
  "director": "Bennett Miller",
  "year": "2011"
}

# Send the request.
print(search.index(index='movies', id='1', body=document, refresh=True))

# print(search.index(index='movies', doc_type='_doc', id='1', body=document, refresh=True))

Alternativamente, você pode especificar os cabeçalhos apropriados, compactar o corpo da solicitação e usar uma biblioteca HTTP padrão como Requests. Este código assina a solicitação usando credenciais básicas HTTP, às quais seu domínio pode oferecer suporte se você usa o controle de acesso refinado.

import requests
import gzip
import json

base_url = '' # The domain with https:// and a trailing slash. For example, https://my-test-domain.us-east-1.es.amazonaws.com/
auth = ('master-user', 'master-user-password') # For testing only. Don't store credentials in code.

headers = {'Accept-Encoding': 'gzip', 'Content-Type': 'application/json',
           'Content-Encoding': 'gzip'}

document = {
  "title": "Moneyball",
  "director": "Bennett Miller",
  "year": "2011"
}

# Compress the document.
compressed_document = gzip.compress(json.dumps(document).encode())

# Send the request.
path = 'movies/_doc?refresh=true'
url = base_url + path
response = requests.post(url, auth=auth, headers=headers, data=compressed_document)
print(response.status_code)
print(response.text)