Escala de petabytes no Amazon Service OpenSearch

Os domínios do Amazon OpenSearch Service oferecem armazenamento anexado de até 10 PB. Você pode configurar um domínio com 1.000 tipos de OR1.16xlarge.search instância, cada um com 36 TB de armazenamento. Devido à grande diferença em escala, as recomendações para domínios desse tamanho diferem de nossas recomendações gerais. Esta seção descreve as considerações para a criação de domínios, custos, armazenamento e tamanho de fragmento.

Embora esta seção frequentemente faça referência aos tipos de i3.16xlarge.search instância, você pode usar vários outros tipos de instância para alcançar 10 PB do armazenamento total do domínio.

Criar domínios

Domínios deste tamanho excedem o limite padrão de 80 instâncias por domínio. Para solicitar um aumento do limite de serviço de até 1.000 instâncias por domínio, abra um caso no AWS Support Center.

Definição de preço

Antes de criar um domínio desse tamanho, verifique a página de preços do Amazon OpenSearch Service para garantir que os custos associados correspondam às suas expectativas. Examine UltraWarm armazenamento para Amazon OpenSearch Service para ver se uma arquitetura de atividade muito alta é adequada ao seu caso de uso.

Armazenamento

Os tipos de i3 instância foram projetados para fornecer armazenamento expresso (NVMe) de memória local rápido e não volátil. Como esse armazenamento local tende a oferecer benefícios de desempenho quando comparado ao Amazon Elastic Block Store, EBS os volumes não são uma opção quando você seleciona esses tipos de instância no OpenSearch Service. Se você preferir EBS armazenamento, use outro tipo de instância, comor6.12xlarge.search.

Tamanho e contagem de fragmentos

Uma OpenSearch diretriz comum é não exceder 50 GB por fragmento. Considerando o número de fragmentos necessários para acomodar grandes domínios e os recursos disponíveis para instâncias i3.16xlarge.search, recomendamos um tamanho de fragmento de 100 GB.

Por exemplo, se você tiver 450 TB de dados de origem e quiser uma réplica, seu requisito de armazenamento mínimo será mais próximo de 450 TB * 2 * 1,1/0.95 = 1.04 PB. Para obter uma explicação sobre esse cálculo, consulte Cálculo de requisitos de armazenamento. Embora 1,04 PB / 15 TB = 70 instâncias, você pode selecionar 90 ou mais instâncias i3.16xlarge.search para obter uma rede de segurança de armazenamento, lidar com falhas de nós e lidar com alguma variação na quantidade de dados ao longo do tempo. Cada instância adiciona outros 20 GiB ao seu requisito de armazenamento mínimo, ainda que para discos deste tamanho, esses 20 GiB sejam quase insignificantes.

Controlar o número de fragmentos é complicado. OpenSearch os usuários geralmente alternam os índices diariamente e retêm os dados por uma ou duas semanas. Nesta situação, pode ser útil distinguir entre fragmentos "ativos" e "inativos". fragmentos ativos estão sendo gravados ou lidos ativamente. Fragmentos inativos podem servir para uma solicitação de leitura ocasional, mas são essencialmente ociosos. Em geral, você deve manter o número de fragmentos ativos abaixo de alguns milhares. À medida que o número de fragmentos ativos se aproxima de 10.000, riscos de performance e de estabilidade consideráveis podem surgir.

Para calcular o número de fragmentos principais, use esta fórmula: 450.000 GB * 1,1/100 GB por fragmento = 4,950 fragmentos. Ao dobrar esse número para contabilizar réplicas, temos 9.900 fragmentos, o que representa uma grande preocupação se todos os fragmentos estão ativos. No entanto, se você alternar índices e apenas 1/7 ou 1/14 dos fragmentos estiver ativo em um determinado dia (1.414 ou 707 fragmentos, respectivamente), o cluster poderá funcionar normalmente. Como sempre, a etapa mais importante do dimensionamento e da configuração do domínio é executar testes de cliente representativos usando um conjunto de dados realista.