メニュー
Amazon Elasticsearch Service
開発者ガイド (API バージョン 2015-01-01)

Amazon Elasticsearch Service におけるペタバイト規模

Amazon Elasticsearch Service には、最大 1.5 PB のドメインストレージが用意されています。i3.16xlarge.elasticsearch インスタンスタイプが 100 個あり、それぞれに 15 TB のストレージがあるドメインを設定できます。規模がまったく異なるため、このサイズのドメインに関する推奨事項は一般的な推奨事項とは異なります。このセクションでは、ドメインの作成、コスト、ストレージ、シャードのサイズ、専用マスターノードに関する考慮事項について説明します。何度も i3 インスタンスタイプについて記載していますが、このセクションのシャードのサイズと専用マスターノードに関する推奨事項は、ペタバイト規模に近いすべてのドメインに適用できます。

ドメインの作成

このサイズのドメインは、ドメインあたり 20 インスタンスというデフォルトの制限を超えています。ドメインあたり 100 インスタンスへのサービス制限引き上げをリクエストするには、AWS サポートセンターでサポートケースを作成してください。

料金表

このサイズのドメインを作成する前に、Amazon Elasticsearch Service の料金表ページを確認して、関連コストが希望に沿っていることを確認します。

ストレージ

i3 インスタンスタイプは、高速な Non-Volatile Memory Express (NVMe) ローカルストレージを提供するよう特別に設計されたものです。このローカルストレージは Amazon Elastic Block Store と比較してパフォーマンスが大幅に向上する傾向があるため、Amazon ES でこのインスタンスタイプを選択した場合は EBS ボリュームを選択することはできません。

シャードのサイズ

Elasticsearch の一般的なガイドラインは、シャードあたり 50 GB を超えないようにすることです。1.5 PB のストレージ要件に対応するために必要なシャードの数が指定されている場合は、シャードのサイズを 100 GB 以上にすることをお勧めします。

たとえば、450 TB のソースデータがあり、レプリカを 1 つにする場合、最小ストレージ要件は 450 TB * 2 * 1.1/0.95 = 1.04 PB です。この計算の説明については、「ストレージ要件の計算」を参照してください。1.04 PB/15 TB = 70 インスタンスですが、時間と共に変動するデータ量を考慮してストレージセーフティネットとして 77 個以上の i3.16xlarge.elasticsearch インスタンスを選択することもできます。各インスタンスにより最小ストレージ要件に 20 GB が追加されますが、このサイズのディスクでは、この 20 GB はほぼ無視できます。

プライマリシャードの数は次の式を使用して計算します。450,000 GB * 1.1/(150 GB/シャード) = 3,300 シャード。この場合も、ドメインのサイズ決定と設定において最も重要なステップは、現実的なデータセットを使用して代表的なクライアントテストを実行することです。

専用マスターノード

本番稼働用の各 Amazon ES ドメインに、3 つの専用マスターノードを割り当てることを推奨します。ただし、専用マスターノードの一般的なガイドラインの代わりに、このサイズのドメイン用の強力なインスタンスタイプを使用することをお勧めします。次の表に、大きなドメインの専用マスターノードに推奨されるインスタンスタイプを示します。

Instance Count

推奨される最小専用マスターインスタンスタイプ

5–10

m4.large.elasticsearch

10–20

c4.xlarge.elasticsearch

20–50

c4.2xlarge.elasticsearch

50–100

c4.4xlarge.elasticsearch