クラスターリソースのスケーリング - Amazon EMR

翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。

クラスターリソースのスケーリング

Amazon EMR クラスターで使用できる Amazon EC2 インスタンスの数は、ワークロードの需要の変化に応じて、自動または手動で調整できます。自動スケーリングを使用するには、2 つのオプションがあります。EMR マネージドスケーリングを有効にすることも、カスタムの自動スケーリングポリシーを作成することもできます。以下の表では、2 つのオプションの違いについて説明しています。

EMR マネージドスケーリング カスタム自動スケーリング

スケーリングポリシーとルール

ポリシーは必要ありません。EMR は、クラスターメトリクスを継続的に評価し、最適化されたスケーリング決定を行うことにより、自動スケーリングアクティビティを管理します。

スケーリングアクティビティ、評価期間、クールダウン期間をトリガーする特定の条件など、自動スケーリングポリシーとルールを定義および管理する必要があります。

サポートされている EMR リリースバージョン

Amazon EMR バージョン 5.30.0 以降 (Amazon EMR バージョン 6.0.0 を除く)

Amazon EMR バージョン 4.0.0 以降

サポートされているクラスター構成

インスタンスグループまたはインスタンスフリート

インスタンスグループのみ

スケーリング制限の設定

スケーリング制限は、クラスター全体に対して設定されます。

スケーリング制限は、各インスタンスグループに対してのみ設定できます。

メトリクス評価頻度

5 ~ 10秒ごと

メトリクスの評価を頻繁に行うことで、EMR によるスケーリング決定の精度が高くなります。

評価期間は 5 分単位でのみ定義できます。

サポートされているアプリケーション

Spark、Hadoop、Hive、Flink などの YARN アプリケーションのみがサポートされています。

Presto などの他のアプリケーションは現在サポートされていません。

自動スケーリングルールを定義するときに、サポート対象とするアプリケーションを選択できます。

考慮事項

  • Amazon EMR クラスターは、常に 1 つまたは 3 つのマスターノードで構成されます。クラスターを最初に設定した後、マスターノードの数をスケーリングすることはできません。スケーリングできるのは、クラスター内のコアノードとタスクノードのみです。

  • インスタンスグループの再設定とサイズ変更を同時に行うことはできません。インスタンスグループのサイズ変更中に再設定を開始した場合、インスタンスグループのサイズ変更が完了するまで再設定を開始することはできません。その逆も同様です。