Échelle en pétaoctets dans Amazon Service OpenSearch

Les domaines Amazon OpenSearch Service offrent un stockage attaché d'une capacité maximale de 3 Po. Vous pouvez configurer un domaine avec 200 types d'instances i3.16xlarge.search, chacune avec 15 To de stockage. En raison de la différence de l'échelle, des recommandations pour les domaines de cette taille diffèrent de nos recommandations générales. Cette section présente les éléments à prendre en compte pour la création de domaines, les coûts, le stockage et la taille de la partition.

Bien que cette section fasse fréquemment référence aux types d'instance i3.16xlarge.search, vous pouvez utiliser plusieurs autres types d'instances pour atteindre 1 Po de stockage total de domaine.

Création de domaines

Les domaines de cette taille dépassent la limite par défaut de 80 instances par domaine. Pour demander une augmentation de limite de service jusqu'à 200 instances par domaine, ouvrez une demande auprès du CentreAWS Support.

Tarification

Avant de créer un domaine de cette taille, consultez la page de tarification d'Amazon OpenSearch Service pour vous assurer que les coûts associés correspondent à vos attentes. Examinez UltraWarm stockage pour Amazon OpenSearch Service pour voir si une architecture chaude correspond à votre cas d'utilisation.

Stockage

Les types d'instances i3 sont spécialement conçues pour fournir un stockage NVMe local et rapide. Étant donné que ce stockage local a tendance à offrir des avantages en termes de performances par rapport à Amazon Elastic Block Store, les volumes EBS ne sont pas une option lorsque vous sélectionnez ces types d'instances dans OpenSearch Service. Si vous préférez le stockage EBS, utilisez un autre type d'instance, par exemple r6.12xlarge.search.

Nombre et taille des partitions

Il est OpenSearch généralement recommandé de ne pas dépasser 50 Go par partition. Étant donné le nombre de partitions nécessaires pour accueillir les grands domaines et les ressources disponibles pour les instances i3.16xlarge.search, nous vous recommandons d'utiliser une taille de partition de 100 Go.

En résumé, si vous disposez de 450 Go de données sources et que vous souhaitez avoir une copie, votre espace de stockage minimum est plus près de 450 To * 2 * 1,1/0,95 = 1,04 Go. Pour une explication de ce calcul, consultez Calcul des exigences de stockage. Bien que 1.04 Po/15 To = 70 instances, vous pouvez sélectionner un minimum de 90 instances i3.16xlarge.search pour vous donner un filet de sécurité de stockage, gérer les défaillances de nœuds et tenir compte de la variation de la quantité de données au fil du temps. Chaque instance ajoute 20 Gio à votre espace de stockage minimal requis. Pour les disques de cette taille, ces 20 Gio sont presque négligeables.

Il est difficile de contrôler le nombre de fragments. OpenSearch les utilisateurs font souvent pivoter les index tous les jours et conservent les données pendant une semaine ou deux. Dans ce cas, il peut être utile de faire la distinction entre les partitions « actives » et « inactives ». Les partitions actives sont celles qui sont activement utilisées pour l'écriture ou la lecture. Les partitions inactives peuvent prendre en charge quelques demandes de lecture, mais sont principalement inactives. En général, le nombre de partitions actives doit rester inférieur à quelques milliers. À mesure que le nombre de partitions actives s'approche de 10 000, des risques peuvent peser sur les performances et la stabilité.

Pour calculer le nombre de partitions principales, utilisez cette formule : 450 000 Go * 1,1/100 Go par partition = 4 950 partitions. Si vous multipliez ce chiffre par deux pour prendre en compte le nombre de réplicas, vous obtenez 9 900 partitions, ce qui représente un problème majeur si toutes les partitions sont actives. Mais si vous procédez à la rotation des index et que seulement 1/7^e ou 1/14^e des partitions sont actives sur un jour donné (1 414 ou 707 partitions, respectivement), le cluster peut fonctionner correctement. Comme toujours, l'étape la plus importante du dimensionnement et de la configuration de votre domaine consiste à effectuer des tests clients représentatifs à l'aide d'un ensemble de données réalistes.