自動スケーリングアプローチの選択

伸縮性は、Amazon EMR を使用する主な利点の 1 つです。リソースを自動的にスケーリングするには、主に 2 つのオプションがあります。

• マネージドスケーリング

• カスタムスケーリングポリシー

マネージドスケーリングまたはカスタム自動スケーリングポリシーのいずれかを使用すると、必要なリソースのみを使用するようにノードをスケールインおよびスケールアウトできます。スケールアウトは、容量を増やす必要がある場合にリソースを追加するために使用されます。スケールインすると、使用されていないリソースが削除され、コスト効率が向上します。Amazon EMR サービス内では、Amazon CloudWatch メトリクスが リソースをモニタリングできるようになっているため、クラスターをスケーリングできます。CloudWatch は 5 分ごとにデータポイントを受け取ります。

自動スケーリングアプローチごとに異なる考慮事項があります。

Amazon EMR Managed Scaling

ワークロードが次の基準を満たしている場合は、EMR マネージドスケーリングを使用します。

• マネージドエクスペリエンスが必要です。

• Amazon EMR 5.330 以降が使用されます。

• 1 分の評価頻度が必要です。

• このソリューションでは、インスタンスフリートを使用して、1～5 つのインスタンスオプションがあります。

• アプリケーションは、Apache Spark、Apache Hive、または Apache Hadoop YARN に基づいています。

カスタム自動スケーリング

ワークロードが次の基準を満たしている場合は、カスタム自動スケーリングポリシーを使用します。

• スケーリングのメトリクスを制御する必要があります。

• Amazon EMR 4.0 以降が使用されます。

• 高い評価頻度は必要ありません。

• 連続するサイズ変更間のクールダウン期間を制御する必要はありません。

• スケーリング時に追加または削除するインスタンスの数を制御することが重要です。

• このソリューションにはカスタムスケーリングアクションが必要です。例えば、1 つの 5 分間に複数のノードをスケーリングできます。または、クールダウン期間を調整することもできます。

• インスタンスグループで異なるインスタントタイプを使用することに制限はありません。

クラスターに自動スケーリングを追加するときのヒント

• 処理するデータの量に注意してください。データのサイズが最も大きいケースを使用して予測します。

• クラスターのサイズを適正化します。

• ニーズに合ったストレージタイプを選択します。

• Amazon EMR クラスターのメトリクスを理解します。

• クラスターをスケーリングするための適切なメトリクスを決定する方法を理解します。

• スポットインスタンス、ユニフォームインスタンスグループ、またはインスタンスフリートのどちらを使用するかを決定します。

• 情報と制限に基づいて、Amazon EMR マネージドスケーリングまたはカスタム自動スケーリングポリシーのスケーリングアプローチのタイプを決定します。

• マネージドスケーリングまたはカスタムポリシーを設定します。

• カスタム自動スケーリングポリシーを選択した場合は、Amazon EMR メトリクスをモニタリングしてポリシーのしきい値を調整します。