Amazon 服務中的 PB 規模 OpenSearch

Amazon OpenSearch 服務域提供高達 3 PB 的附加存儲。您可以設定具 200 個 i3.16xlarge.search 執行個體類型的網域，每個都有 15 TB 的儲存空間。由於規模上的巨大差異，所以對此大小的網域的建議與我們的一般建議不同。本節討論建立網域、成本、儲存和碎片大小。

雖然此區段經常參考 i3.16xlarge.search 執行個體類型，您可以使用多個其他執行個體類型，以達到 1 PB 的總網域儲存。

建立網域

此大小的網域超過每個網域 80 個執行個體的預設限制。若要請求將服務限制提高到每個網域最多 200 個執行個體，請透過 AWS 支援中心立案處理。

定價

建立此大小的網域之前，請先查看 Amazon Ser OpenSearch vice 定價頁面，以確保相關成本符合您的期望。檢查 UltraWarm Amazon 服 OpenSearch 務存儲，確認熱暖架構是否適合您的使用案例。

儲存

此 i3 執行個體類型經過設計，可提供快速、本機非揮發性記憶體儲存裝置 (NVMe) 的儲存空間。由於與 Amazon 彈性區塊存放區相比，此本機儲存往往會提供效能優勢，因此當您在 OpenSearch 服務中選取這些執行個體類型時，EBS 磁碟區不是一種選項。如果您偏好使用 EBS 儲存，請使用另一個執行個體類型 (例如 r6.12xlarge.search。

碎片大小和計數

常見的 OpenSearch 準則是每個碎片不得超過 50 GB。鑒於大型網域所需的碎片數量，以及可用於 i3.16xlarge.search 執行個體的可用資源，我們建議碎片大小為 100 GB。

例如，如果您有 450 TB 的來源資料，並且想要一個複本，您的最低儲空間要求比較接近 450 TB * 2 * 1.1 / 0.95 = 1.04 PB。如需此計算詳細說明，請參閱計算儲存需求。雖然有 1.04 PB / 15 TB = 70 個執行個體，但是您可以選擇 90 個或更多的 i3.16xlarge.search 執行個體，讓自己擁有儲存安全網並，處理節點故障並將隨時間增加資料量的一些變異納入考量。每個執行個體會新增另一組 20 GiB 到您的最低儲存需求，但對於此大小的磁碟，這組 20 GiB 幾乎可以忽略不計。

控制碎片的數量非常棘手。 OpenSearch 使用者通常每天輪換索引，並保留資料一兩週。在這種情況下，您可能會發現區分「作用中」和「非作用中」的碎片數量很管用。作用中碎片會被主動寫入或讀取。非作用中碎片可能服務一些讀取請求，但大部分都在閒置狀態。一般而言，您應該保留有效碎片數量在數千以下。隨著非作用中碎片數量達到 10,000 個，可觀的效能和穩定性風險也隨之出現。

若要計算主要碎片的數量，請使用下列公式：每個碎片 450,000 GB * 1.1 / 100 GB = 4,950 個碎片。複本數量的兩倍是 9,900 分片，其表示當所有碎片都在作用中時的主要考量。但是，如果您輪換索引，而且只有 1/7 或 1/14 的作用中碎片數量或碎片在任何指定一天 (1,414 或 707 碎片)，叢集可能有良好的運作狀態。如往常一樣，調整大小和設定您的網域的最重要步驟是使用實際的資料集執行代表性的用戶端測試。