使用集群扩展 - Amazon EMR

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用集群扩展

您可以自动或手动调整可用于 Amazon EMR 集群的 Amazon EC2 实例数量,以应对不同需求的工作负载。要使用自动扩展,您有两个选项。您可以启用 Amazon EMR 托管扩展或创建自定义自动扩展策略。下表介绍了两个选项之间的区别。

Amazon EMR 托管扩展 自定义自动扩展

扩展策略和规则

无需策略。Amazon 通过持续评估集群指标和做出优化的扩展决策来EMR管理自动扩展活动。

您需要定义和管理自动伸缩策略和规则,如触发扩缩活动的特定条件、评估期、冷却时间等。

支持的 Amazon EMR 版本

亚马逊EMR版本 5.30.0 及更高版本(亚马EMR逊 6.0.0 版本除外)

亚马逊 4.0.0 及EMR更高版本

支持的集群构成

实例组或实例队列

仅实例组

扩展限制配置

为整个集群配置扩展限制。

只能为每个实例组配置扩展限制。

指标评估频率

每 5 到 10 秒一次

更频繁地评估指标可以让 Amazon EMR 做出更精确的扩展决策。

您只能以五分钟的增量定义评估期。

受支持的应用程序

仅支持YARN应用程序,例如 Spark、Hadoop、Hive、Flink。Amazon EMR 托管扩展不支持不基于的应用程序YARN,例如 Presto 或HBase。

在定义自动扩展规则时,您可以选择支持哪些应用程序。

注意事项

  • 一个 Amazon EMR 集群始终包含一个或三个主节点。首次配置集群后,您只能扩展核心节点和任务节点,而无法扩展集群的主节点数量。

  • 对于实例组,重新配置操作和大小调整操作是依次进行的,而不是同时进行的。如果您在调整实例组大小时发起重新配置,则实例组完成正在进行的大小调整后,将会立即开始重新配置。如果您在实例组重新配置时启动调整大小操作,则会按相反的顺序操作。