Escala de petabytes en Amazon Service OpenSearch

Los dominios OpenSearch de Amazon Service ofrecen almacenamiento adjunto de hasta 10 PB. Puede configurar un dominio con 1000 tipos de OR1.16xlarge.search instancias, cada uno con 36 TB de almacenamiento. Debido a la gran diferencia de escala, las recomendaciones para los dominios de este tamaño difieren de nuestras recomendaciones generales. En esta sección, se explican consideraciones sobre la creación de dominios, los costos, el almacenamiento y el tamaño de las particiones.

Si bien en esta sección se hace referencia con frecuencia a los tipos de i3.16xlarge.search instancias, puedes usar varios otros tipos de instancias para alcanzar los 10 PB de almacenamiento total del dominio.

Creación de dominios

Los dominios de este tamaño superan el límite predeterminado de 80 instancias por dominio. Para solicitar un aumento del límite de servicio de hasta 1000 instancias por dominio, abra un caso en el AWS Support Center.

Precios

Antes de crear un dominio de este tamaño, consulta la página de precios de Amazon OpenSearch Service para asegurarte de que los costes asociados se ajustan a tus expectativas. Examine UltraWarm almacenamiento para Amazon OpenSearch Service para ver si una arquitectura caliente/templada se ajusta a su caso de uso.

Almacenamiento

Los tipos de i3 instancias están diseñados para proporcionar un almacenamiento express (NVMe) rápido, local y no volátil. Dado que este almacenamiento local suele ofrecer ventajas de rendimiento en comparación con Amazon Elastic Block Store, EBS los volúmenes no son una opción cuando se seleccionan estos tipos de instancias en OpenSearch Service. Si prefiere el EBS almacenamiento, utilice otro tipo de instancia, comor6.12xlarge.search.

Tamaño y número de fragmentos

Una OpenSearch pauta habitual es no superar los 50 GB por fragmento. Habida cuenta del número de fragmentos necesarios para acomodar dominios grandes y los recursos disponibles para instancias i3.16xlarge.search, le recomendamos un tamaño de fragmento de 100 GB.

Por ejemplo, si tiene 450 TB de datos de origen y solo quiere una réplica, su requisito de almacenamiento mínimo será aproximadamente 450 TB * 2 * 1,1/0.95 = 1.04 PB. Para obtener una explicación de este cálculo, consulte Cálculo de requisitos de almacenamiento. Aunque 1,04 PB / 15 TB = 70 instancias, podría seleccionar 90 o más instancias i3.16xlarge.search para disponer de una red de seguridad de almacenamiento, hacer frente a los errores de los nodos y tener en cuenta cierta variación en la cantidad de datos a lo largo del tiempo. Cada instancia añade otros 20 GiB a su requisito de almacenamiento mínimo, pero para discos de este tamaño, esos 20 GiB son casi insignificantes.

Controlar el número de fragmentos es complicado. OpenSearch los usuarios suelen rotar los índices a diario y conservar los datos durante una o dos semanas. En esta situación, puede que le resulte útil distinguir entre fragmentos "activos" e "inactivos". Los fragmentos activos son fragmentos que se están escribiendo o leyendo activamente. Las particiones inactivas pueden dar servicio a algunas solicitudes de lectura, pero están en gran medida inactivos. En general, debe mantener el número de fragmentos activos por debajo de varios miles. Cuando el número de fragmentos activos se acerca a los 10 000, surgen riesgos importantes de desempeño y estabilidad.

Para calcular el número de fragmentos principales, utilice esta fórmula: 450 000 GB * 1,1 / 100 GB por fragmento = 4 950 fragmentos. Si se duplica ese número para dar cuenta de las réplicas se obtienen 9 900 particiones, lo que supone un grave problema si todas las particiones están activas. Pero si rota los índices y solo una séptima parte o una catorceava parte de las particiones están activas en un día determinado (1,414 o 707 particiones, respectivamente), el clúster puede funcionar correctamente. Como siempre, el paso más importante para determinar el tamaño y la configuración del dominio es realizar pruebas representativas en el cliente utilizando un conjunto de datos realista.