Petabyte-Größe in Amazon OpenSearch Service

Amazon OpenSearch -Service-Domains bieten einen angefügten Speicher von bis zu 3 PB. Sie können eine Domäne mit 200 i3.16xlarge.search Instance-Typen mit jeweils 15 TB Speicher konfigurieren. Aufgrund des großen Unterschieds bei der Skalierung unterscheiden sich die Empfehlungen für Domänen dieser Größe von unseren allgemeinen Empfehlungen. In diesem Abschnitt werden Überlegungen bei der Erstellung von Domänen, Kosten, Speicher und Shard-Größe dargelegt.

Während dieser Abschnitts häufig auf die i3.16xlarge.search Instance-Typen verweist, können Sie verschiedene andere Instance-Typen verwenden, um 1 PB Gesamt-Domänenspeicher zu erreichen.

Domänen erstellen

Domains dieser Größe überschreiten das Standardlimit von 80 Instances pro Domain. Um eine Erhöhung der Serviceobergrenze von bis zu 200 Instances pro Domäne anzufordern, erstellen Sie einen Fall im AWS -Support-Center.

Preisgestaltung

Bevor Sie eine Domain dieser Größe erstellen, überprüfen Sie die Seite Amazon OpenSearch Service – Preise, um sicherzustellen, dass die damit verbundenen Kosten Ihren Erwartungen entsprechen. Überprüfen Sie UltraWarm Speicher für Amazon OpenSearch Service darauf, ob eine Hot-Warm-Architektur zu Ihrem Anwendungsfall passt.

Speicher

Die i3-Instance-Typen sind dafür konzipiert, um schnellen, lokalen nicht-flüchtigen Express (NVMe)-Speicher bereitzustellen. Da dieser lokale Speicher im Vergleich zu Amazon Elastic Block Store in der Regel Leistungsvorteile bietet, sind EBS-Volumes keine Option, wenn Sie diese Instance-Typen in OpenSearch Service auswählen. Wenn Sie lieber EBS-Speicher, verwenden Sie einen anderen Instance-Typ, z. B. r6.12xlarge.search.

Shard-Größe und -Anzahl

Eine gängige OpenSearch Richtlinie besteht darin, 50 GB pro Shard nicht zu überschreiten. Aufgrund der Anzahl der Shards, die für große Domänen und die verfügbaren Ressourcen für i3.16xlarge.search-Instances erforderlich sind, empfehlen wir eine Shard-Größe von 100 GB.

Wenn Sie beispielsweise 450 TB Quelldaten haben und ein Replikat verwenden wollen, liegt Ihr minimaler Speicherbedarf nahe 450 TB * 2 * 1,1/0,95 = 1,04 PB. Eine Erklärung dieser Berechnung finden Sie unter Berechnung der Speicheranforderungen. Obwohl 1.04 PB / 15 TB = 70 Instances ergibt, sollten Sie 90 oder mehr i3.16xlarge.search Instances wählen, damit Sie eine Sicherheitsreserve, einen Deal mit Knotenfehlern haben und Abweichungen in der Datenmenge im Laufe der Zeit berücksichtigt werden. Von jeder Instance werden weitere 20 GiB zu den Mindestspeicheranforderungen hinzugefügt, aber bei Datenträgern dieser Größe sind 20 GiB nahezu vernachlässigbar.

Die Kontrolle der Anzahl der Shards ist schwierig. - OpenSearch Benutzer rotieren Indizes häufig täglich und behalten Daten ein oder zwei Wochen lang bei. In diesem Fall finden Sie es möglicherweise nützlich, zwischen "aktiven" und "inaktiven" Shards zu unterscheiden. Aktive Shards werden aktiv gelesen oder geschrieben. Inaktive Shards können einige Leseanforderungen bedienen, sind aber größtenteils im Leerlauf. Im Allgemeinen gilt, die Anzahl der aktiven Shards unten ein paar Tausend zu halten. Wenn sich die Anzahl der aktiven Shards 10.000 nähert, ist dies mit erheblichen Leistungs- und Stabilitätsrisiken verbunden.

Zum Berechnen der Anzahl der primären Shards verwenden Sie die folgende Formel: 450.000 GB * 1,1/100 GB pro Shard = 4,950 Shards. Eine Verdoppelung dieser Anzahl zur Berücksichtigung von Replikaten ergibt 9.900 Shards. Wenn alle Shards aktiv sind, stellt dies ein großes Problem dar. Wenn Sie jedoch die Indizes rotieren und nur 1/7 oder 1/14 der Shards an einem bestimmten Tag aktiv sind (1 414 bzw. 707 Shards), kann der Cluster gut funktionieren. Wie immer besteht der wichtigste Schritt bei der Dimensionierung und Konfiguration Ihrer Domäne darin, repräsentative Client-Tests unter Verwendung einer realistischen Datenmenge auszuführen.