使用快速选项启动集群 - Amazon EMR

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

使用快速选项启动集群

使用创建集群-快速选项页面,快速创建用于简单任务或用于评估或测试的集群。快速选项使用群集软件、网络和安全等配置选项的默认值。例如,当您启动具有快速选项时,您不要为您的集群选择 Virtual Private Cloud (VPC) 和子网。相反,Amazon EMR 会在您所选区域的默认 Amazon Virtual Private Cloud (Amazon VPC) 的公有子网中设置集群。

要启动具有快速选项

  1. 登录 AWS 管理控制台,并通过以下网址打开 Amazon EMR 控制台:https://console.aws.amazon.com/elasticmapreduce/

  2. 选择集群,然后选择创建集群以打开快速选项页.

  3. 在存储库的创建集群-快速选项页面上,输入或选择提供的字段的值。有关快速选项字段的更多信息,请参阅。“Quick Options (快速选项)”摘要

  4. 选择创建集群启动集群并打开集群状态页面。

  5. 在群集状态页面上,找到状态旁边的群集名称。状态应从正在启动正在运行正在等待在群集创建过程中。您可能需要选择右侧的刷新图标或刷新您的浏览器才能接收更新。

当状态变为正在等待,您的群集已启动、正在运行,并准备接受步骤和 SSH 连接。

“Quick Options (快速选项)”摘要

下表列出了使用群集启动群集时的字段和默认值。创建集群-快速选项页面上的 EMR 控制台。

控制台字段 默认值 描述
集群名称 My cluster (我的集群)

集群名称是可选的集群描述性名称,不必唯一。

日志系统 Selected

启用日志记录后,Amazon EMR 会将详细的日志数据写入指定的 Amazon S3 文件夹。只能在创建集群时启用日志记录。以后您无法更改设置。快速选项会选择默认 Amazon S3 存储桶。您可以选择指定自己的存储桶。有关更多信息,请参阅 查看存档到 Amazon S3 的日志文件

S3 folder (S3 文件夹) 弹性映射/

此选项指定 Amazon S3 存储桶中某个文件夹的路径,您希望 Amazon EMR 在其中写入日志数据。如果存储桶中没有指定路径中的默认文件夹,Amazon EMR 将为您创建。您可以通过输入文件夹名称或浏览到 Amazon S3 文件夹来指定其他文件夹。

Launch mode (启动模式) Cluster

此选项指定是启动长时间运行的集群,还是在运行您在创建时指定的任何步骤之后终止的集群。

随着Cluster选项,集群将持续运行至您将其终止;这称为 长时间运行群集。 如果选择步骤执行,Amazon EMR 会提示您添加和配置步骤。您可以使用步骤向集群提交工作。在您指定的步骤运行完成后,集群将自动终止。有关更多信息,请参阅 将集群配置为自动终止或继续

版本 emr-5.33.0

此选项指定要在创建集群时使用的 Amazon EMR 版本。Amazon EMR 版本确定 Amazon EMR 安装的开源应用程序(如 Hadoop 和 Hive)的版本。默认情况下,选择最新版本的标签。如果您需要与您的解决方案兼容的开源应用程序的其他版本,请选择早期 Amazon EMR 版本。使用早期 Amazon EMR 版本时,某些 Amazon EMR 功能和应用程序可能不可用。建议您尽可能使用最新的版本。有关每个 Amazon EMR 发布版本的更多信息,请参阅Amazon EMR 版本指南

应用程序 Core Hadoop (核心 Hadoop)

此选项确定大数据生态系统中要安装在您的集群上的开源应用程序。快速选项允许您从最常见的应用程序组合中进行选择。要选择您自己的应用程序组合,包括未列出的其他应用程序,请选择转到高级选项。有关每个 Amazon EMR 版本可用的应用程序和版本的信息,请参阅Amazon EMR 版本指南

如果应用程序不可用于 Amazon EMR 进行安装,或者您需要在集群实例上安装自定义应用程序,可以使用 引导操作有关更多信息,请参阅 创建引导操作以安装其他软件。如果您选择步骤执行后,Amazon EMR 将根据您的步骤选择要安装的应用程序。

实例类型 m5.xlarge

此选项确定 Amazon EMR 为在集群中运行的实例初始化的 Amazon EC2 实例类型。默认实例选择因区域而异,某些实例类型在某些区域可能不可用。有关更多信息,请参阅 配置集群硬件和联网

实例的数量 3

此选项确定要初始化的 Amazon EC2 实例数。每个实例对应 Amazon EMR 集群中的一个节点。您必须具有至少一个节点(此节点为主节点)。有关选择实例类型和实例数量的指导,请参阅集群配置指南和最佳实践

群集扩展 取消选择 选择此选项后,群集扩展将启用 EMR 管理的扩展。托管扩展可根据工作负载自动增加和减少核心节点和任务节点中的实例数。有关更多信息,请参阅 在 Amazon EMR 中使用 EMR 托管扩展
EC2 键前缀 Choose an option (选择选项)

此选项指定通过安全外壳 (SSH) 连接连接到集群中的节点时使用的 Amazon EC2 key pair。我们强烈建议您创建并指定 Amazon EC2 key pair。如果不选择密钥对,则无法连接到集群来提交步骤或与应用程序交互。有关更多信息,请参阅 连接到群集。要连接,还需要在安全组中创建入站规则以允许 SSH 连接。

权限 默认值

使用此选项指定集群使用的 AWS Identity and Access Management 角色。这些角色确定 Amazon EMR 和集群实例上运行的应用程序与其他 AWS 服务交互所需的权限。您可以选择 Custom (自定义) 以指定您自己的角色。我们建议从默认角色开始。有关更多信息,请参阅 为 AWS 服务和资源的 Amazon EMR 权限配置 IAM 服务角色

EMR 角色 EMR_DefaultRole 允许 Amazon EMR 代表您调用其他 AWS 服务(如 Amazon EC2)的服务角色。有关更多信息,请参阅 Amazon EMR 的服务角色(EMR 角色)
EC2 实例配置文件 EMR_EC2_ 违约行为 提供从 Amazon EMR 启动的 Amazon EC2 实例访问其他 AWS 服务,如 Amazon S3 和 DynamoDB。有关更多信息,请参阅 集群 EC2 实例的服务角色(EC2 实例配置文件)