选择自动缩放方法

弹性是使用 Amazon EMR 的主要优势之一。自动扩展资源有两个主要选项：

• 托管扩展

• 自定义扩展策略

通过托管扩展或自定义自动扩展策略，您可以扩展和缩小节点，从而仅使用所需的资源。当您需要更多容量时，横向扩展用于添加更多资源。通过移除未使用的资源，缩小规模可以提高成本效益。在 Amazon EMR 服务中，可启用亚马逊 CloudWatch 指标来监控您的资源，以便您可以扩展集群。 CloudWatch 每 5 分钟获取一次数据点。

每种自动缩放方法都有不同的注意事项。

Amazon EMR 托管扩展

如果您的工作负载满足以下标准，请使用 EMR 托管扩展：

• 需要托管体验。

• 使用亚马逊 EMR 5.330 或更高版本。

• 您需要的评估频率为 1 分钟。

• 该解决方案使用实例队列来提供一到五个实例选项。

• 这些应用程序基于 Apache Spark、Apache Hive 或 Apache Hadoop YARN。

自定义自动扩展

如果您的工作负载满足以下条件，请使用自定义的自动扩展策略：

• 您必须控制缩放指标。

• 使用的是亚马逊 EMR 4.0+。

• 无需高评估频率。

• 无需控制连续调整大小之间的冷却时间。

• 控制在扩展时要添加或删除多少实例非常重要。

• 该解决方案需要自定义的缩放操作。例如，您可能想在一个 5 分钟内扩展多个节点。或者你可能需要调整冷却时间。

• 在实例组中使用不同的即时类型没有限制。

向集群添加自动扩展功能时的提示

• 注意您将要处理的数据量。使用数据量最大的案例进行预测。

• 正确调整集群@@ 规模。

• 选择适合您需求的存储类型。

• 了解 Amazon EMR 集群的指标。

• 了解如何确定用于扩展集群的正确指标。

• 决定是使用竞价型实例、统一实例组还是实例队列。

• 根据信息和限制，决定您更喜欢哪种类型的扩展方法，即 Amazon EMR 托管扩展还是自定义自动扩展策略。

• 配置托管扩展或自定义策略。

• 如果您选择了自定义自动扩展策略，请监控 Amazon EMR 指标以调整策略的阈值。