Amazon OpenSearch Service のペタバイトスケール - Amazon OpenSearch サービス

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

Amazon OpenSearch Service のペタバイトスケール

Amazon OpenSearch Service ドメインは、最大 3 PB のアタッチされたストレージを提供します。i3.16xlarge.search インスタンスタイプが 200 個あり、それぞれに 15 TB のストレージがあるドメインを設定できます。規模がまったく異なるため、このサイズのドメインに関する推奨事項は一般的な推奨事項とは異なります。このセクションでは、ドメインの作成、コスト、ストレージ、シャードのサイズに関する考慮事項について説明します。

このセクションでは、i3.16xlarge.search インスタンスタイプを頻繁に参照していますが、他のいくつかのインスタンスタイプを使用して 1 PB の合計ドメインストレージに達することができます。

ドメインの作成

このサイズのドメインは、ドメインあたり 80 インスタンスというデフォルトの制限を超えています。ドメインあたり 200 インスタンスへのサービス制限引き上げをリクエストするには、AWS サポートセンターでサポートケースを作成します。

料金

このサイズのドメインを作成する前に、Amazon OpenSearch Service の料金ページをチェックして、関連するコストが想定どおりであることを確認します。ホットウォームアーキテクチャがユースケースに合っているかどうかを確認するために UltraWarm Amazon OpenSearch Service の ストレージ を調べます。

[Storage (ストレージ)]

i3 インスタンスタイプは、高速な不揮発性メモリエクスプレス (NVMe) ローカルストレージを提供するよう特別に設計されたものです。Amazon Elastic Block Store と比較すると、このローカルストレージはパフォーマンス上の利点をもたらす傾向があるため、EBS ボリュームは、 OpenSearch サービスでこれらのインスタンスタイプを選択する場合のオプションではありません。必要に応じて EBS ストレージを使用する場合は、r6.12xlarge.search など、別のインスタンスタイプを使用します。

シャードのサイズと数

一般的な OpenSearch ガイドラインは、シャードあたり 50 GB を超えないようにすることです。大きなドメインに対応するために必要なシャードの数および i3.16xlarge.search インスタンスが利用可能なリソースが指定されている場合は、シャードのサイズは 100 GB をお勧めします。

たとえば、450 TB のソースデータがあり、レプリカを 1 つにする場合、最小ストレージ要件は 450 TB * 2 * 1.1/0.95 = 1.04 PB です。この計算の説明については、「ストレージ要件の計算」を参照してください。1.04 PB/15 TB = 70 インスタンスですが、時間と共に変動するデータ量を考慮して、ストレージセーフティネットを提供し、ノードの障害を処理するために、90 個以上の i3.16xlarge.search インスタンスを選択することができます。各インスタンスにより最小ストレージ要件に 20 GiB が追加されますが、このサイズのディスクでは、この 20 GiB はほぼ無視できます。

シャード数の制御は、trigy. OpenSearch users はインデックスを毎日ローテーションし、1~2 週間データを保持することがよくあります。このような状況では、「アクティブ」なシャードと「非アクティブ」なシャードを区別すると便利な場合があります。アクティブなシャードとは、書き込みや読み取りがアクティブに行われているシャードです。非アクティブなシャードとは、いくつかの読み取りリクエストがあるものの大部分はアイドルな状態のサービスです。一般的には、アクティブなシャードの数を数千個未満に維持する必要があります。アクティブなシャードの数が 10,000 に近づくと、パフォーマンスと安定性に大きなリスクが出現します。

プライマリシャードの数は次の式を使用して計算します。450,000 GB * 1.1/(100 GB/シャード) = 4,950 シャード。レプリカを考慮してこの数を 2 倍にすると 9,900 シャードになり、すべてのシャードがアクティブの場合は大きな懸念事項になります。ただし、インデックスをローテーションして、任意の指定日にシャードの数の 1/7 または 1/14 (それぞれ 1,414 または 707 シャード) のみがアクティブな場合、クラスターはうまく機能します。この場合も、ドメインのサイズ決定と設定において最も重要なステップは、現実的なデータセットを使用して代表的なクライアントテストを実行することです。