使用实例集或统一实例组创建集群 - Amazon EMR

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用实例集或统一实例组创建集群

当您创建集群并指定主节点、核心节点和任务节点的配置时,有两个配置选项。您可以使用实例队列统一实例组。您选择的配置选项适用于所有节点,将在集群的生命周期内应用,并且实例队列和实例组无法在集群中共存。实例队列配置在 Amazon EMR 版本 4.8.0 及更高版本中可用,不包括 5.0.x 版本。

你可以使用 Amazon EMR 控制台, AWS CLI,或者使用 Amazon EMR API 来创建具有任一配置的集群。当你使用来自的create-cluster命令时 AWS CLI,您可以使用--instance-fleets参数使用实例队列创建集群,也可以使用这些--instance-groups参数使用统一的实例组创建集群。

使用Amazon也是如此EMRAPI。您使用 InstanceGroups 配置指定一组 InstanceGroupConfig 对象,或使用 InstanceFleets 配置指定一组 InstanceFleetConfig 对象。

在新的 Amazon EMR 控制台中,您可以在创建集群时选择使用实例组或实例队列,并且可以选择在每个实例组中使用竞价型实例。在旧的 Amazon EMR 控制台中,如果您在创建集群时使用默认的快速选项设置,Amazon 会将统一的实例组配置EMR应用于集群并使用按需实例。要将竞价型实例与统一实例组结合使用,或要配置实例队列或其它自定义设置,请选择 Advanced Options (高级选项)

实例机群

实例队列配置为 Amazon EC2 实例提供了最广泛的配置选项。每个节点类型均有一个实例集,使用任务实例集是可选的。使用创建集群时,您最多可以为每个队列指定 5 EC2 种EC2实例类型,或者为每个队列指定 30 种实例类型 AWS CLI 或 Amazon EMR API 以及按需实例和竞价型实例的分配策略。对于核心实例和任务实例集,您可以为按需型实例指定一个目标容量,再为竞价型实例指定一个目标容量。。Amazon EMR 选择任意组合的指定实例类型来满足目标容量,同时预配置按需实例和竞价型实例。

对于主节点类型,Amazon 从您的实例列表EMR中选择单个实例类型,然后您指定它是按需实例还是竞价型实例。实例集还为竞价型实例和按需型购买提供了其它选项。Spot 实例选项包括指定在无法预置 Spot 容量时要执行的操作的超时以及启动 Spot 实例机群的首选分配策略(容量优化)。此外,还可以使用分配策略(最低价格)选项来启动按需型实例机群。如果您使用的服务角色不是EMR默认服务角色,或者在服务角色中使用EMR托管策略,则需要向自定义群集服务角色添加其他权限才能启用分配策略选项。有关更多信息,请参阅 Amazon 的服务角色EMR(EMR角色)

有关配置实例集的更多信息,请参阅 为您的集群规划和配置实例队列

统一实例组

统一实例组可提供比实例集简单的设置。每个 Amazon EMR 集群最多可以包含 50 个实例组:一个包含一个 Amazon EC2 实例的主实例组、一个包含一个或多个EC2实例的核心实例组以及最多 48 个可选任务实例组。每个核心实例组和任务实例组可以包含任意数量的 Amazon EC2 实例。您可以通过手动添加和删除 Amazon EC2 实例来扩展每个实例组,也可以设置自动扩展。有关添加和删除实例的信息,请参阅使用 Amazon EMR 集群扩展来适应不断变化的工作负载

有关配置统一实例组的更多信息,请参阅配置统一实例组

使用实例集和实例组