本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
亚马逊 EMR 配置最佳实践
配置 Amazon EMR 集群时,请使用以下最佳做法添加实例、使用实例组和使用竞价型实例。
添加实例
在配置 EMR 集群时,一个重要的考虑因素是正确选择代表集群节点的 EC2 实例。请记住,当集群运行时,您无法更改实例的类型,例如将竞价型实例更改为按需实例。要更改主节点,必须关闭群集并创建一个新节点。因此,您必须选择正确的实例类型,以便尽可能减少停机时间。有关更多信息,请参见集群配置指南和最佳实践。
有几种方法可以向集群添加 EC2 实例,具体取决于您使用的是集群的实例组配置还是实例队列配置:
-
手动添加 EC2 实例
-
在实例组上手动添加任务以自动添加实例
-
设置自动缩放
实例组
在向配置中添加 EC2 实例时,请考虑使用实例组。如果您手动添加实例,则可以将相同类型的实例添加到现有的核心和任务实例组。此外,您还可以添加任务实例组,该组可以使用不同的实例类型。
最后,在 Amazon EMR 中为实例组设置自动扩展。可以根据亚马逊的价值自动添加和删除实例CloudWatch您指定的指标。否则,如果您使用的是实例队列,请添加单个任务实例队列。然后更改现有核心和任务实例队列的按需实例和竞价型实例的目标容量。
竞价型实例
在任务节点上使用 Spot 实例。任务节点处理数据,但不在 Hadoop 分布式文件系统 (HDFS) 中保存永久数据。如果由于竞价价格上涨超过您的最高竞价价格而关闭任务节点,则不会丢失任何数据,对集群的影响微乎其微。
当您以竞价型实例的形式启动任务实例组时,Amazon EMR 会使用您的最高竞价价格预置尽可能多的任务节点。例如,您可以请求一个包含六个节点的任务实例组。如果只有五个竞价型实例的可用价格等于或低于您的最高竞价价格,则 Amazon EMR 会启动包含五个节点的实例组。如果可能,Amazon EMR 稍后会添加第六个节点。有关更多信息,请参见集群配置指南和最佳实践。