本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
使用集群扩展
您可以自动或手动调整可用于 Amazon EMR 集群的 Amazon EC2 实例数量,以应对不同需求的工作负载。要使用自动扩展,您有两个选项。您可以启用 Amazon EMR 托管扩展或创建自定义自动扩展策略。下表介绍了两个选项之间的区别。
Amazon EMR 托管扩展 | 自定义自动扩展 | |
---|---|---|
扩展策略和规则 |
无需策略。Amazon 通过持续评估集群指标和做出优化的扩展决策来EMR管理自动扩展活动。 |
您需要定义和管理自动伸缩策略和规则,如触发扩缩活动的特定条件、评估期、冷却时间等。 |
支持的 Amazon EMR 版本 |
亚马逊EMR版本 5.30.0 及更高版本(亚马EMR逊 6.0.0 版本除外) |
亚马逊 4.0.0 及EMR更高版本 |
支持的集群构成 |
实例组或实例队列 |
仅实例组 |
扩展限制配置 |
为整个集群配置扩展限制。 |
只能为每个实例组配置扩展限制。 |
指标评估频率 |
每 5 到 10 秒一次 更频繁地评估指标可以让 Amazon EMR 做出更精确的扩展决策。 |
您只能以五分钟的增量定义评估期。 |
受支持的应用程序 |
仅支持YARN应用程序,例如 Spark、Hadoop、Hive、Flink。Amazon EMR 托管扩展不支持不基于的应用程序YARN,例如 Presto 或HBase。 |
在定义自动扩展规则时,您可以选择支持哪些应用程序。 |
注意事项
-
一个 Amazon EMR 集群始终包含一个或三个主节点。首次配置集群后,您只能扩展核心节点和任务节点,而无法扩展集群的主节点数量。
-
对于实例组,重新配置操作和大小调整操作是依次进行的,而不是同时进行的。如果您在调整实例组大小时发起重新配置,则实例组完成正在进行的大小调整后,将会立即开始重新配置。如果您在实例组重新配置时启动调整大小操作,则会按相反的顺序操作。