指定 Amazon EBS 根设备卷大小 - Amazon EMR

指定 Amazon EBS 根设备卷大小

此选项仅在 Amazon EMR 版本 4.x 及更高版本中提供。当您使用AWS Management Console、AWS CLI 或 Amazon EMR API 创建集群时,可指定从 10GiB(默认值)到 100GiB(最大值)的卷大小。此大小调整仅适用于 EBS 根设备卷,并且适用于集群中的所有实例。它不适用于您在创建集群时为每个实例类型单独指定的存储卷。

有关 Amazon EBS 的更多信息,请参阅 Amazon EC2 根设备卷

注意

如果您使用默认 AMI,Amazon EMR 将挂载通用型 SSD(gp2)作为根设备卷类型。自定义 AMI 可能具有其它根设备卷类型。不过,自定义 AMI 的最小根卷大小也是 10GiB。有关更多信息,请参阅使用自定义 AMI

基于从中运行集群的区域中的卷类型的每月 EBS 费用按小时比例收取 EBS 根设备卷成本。存储卷也是如此。费用按 GB 计算,但如果您以 GiB 为单位指定根卷大小,可能需要在估算值中考虑到这一点 (1 GB 等于 0.931323 GiB)。要估算与集群中的 EBS 根设备卷关联的费用,请使用以下公式:

($EBS GB/月)* 0.931323 / 30 / 24 * EMR_EBSRootGiB * InstanceCount

例如,采用一个具有一个主节点和一个核心节点并使用带默认 10GiB 根设备卷的基础 Amazon Linux AMI 的集群。如果区域中的 EBS 成本为每月每 GB 0.10 USD,则每实例每小时约 0.00129 USD,集群每小时约 0.00258 USD(每月每 GB 0.10 USD 除以 30 天,除以 24 小时,乘以 10GB,乘以 2 个集群实例)。

注意

我们重新设计了 Amazon EMR 控制台,以便其易于使用。请参阅 控制台中的新增功能,以了解有关新旧控制台体验差异的信息。

New console
使用新控制台指定 Amazon EBS 根设备卷大小
  1. 登录 AWS Management Console 并打开 Amazon EMR 控制台,网址为 https://console.aws.amazon.com/emr

  2. 在左侧导航窗格中的 EMR on EC2 下,选择 Clusters(集群),然后选择 Create cluster(创建集群)。

  3. Cluster configuration(集群配置)下,转到 Cluster scaling and provisioning option(集群扩展和配置选项)部分。展开 EBS root volume(EBS 根卷)的箭头,然后输入一个介于 10 GiB 和 100 GiB 之间的值。

  4. 选择适用于集群的任何其他选项。

  5. 要启动集群,选择 Create cluster(创建集群)。

Old console
使用旧控制台指定 Amazon EBS 根设备卷大小
  1. 导航到 Amazon EMR 新控制台,然后从侧面导航栏中选择切换到旧控制台。有关切换到旧控制台后预期情况的更多信息,请参阅 Using the old console

  2. 选择创建集群

  3. 选择 Go to advanced options (转到高级选项)

  4. 软件配置下,对于版本,选择 Amazon EMR 版本 4.x 或更高版本。选择适用于您应用程序的其他选项,然后选择 Next(下一步)。

  5. Hardware Configuration (硬件配置) 下,对于 Root device EBS volume size (根设备 EBS 卷大小),输入一个介于 10 GiB 和 100 GiB 之间的值。

CLI
使用 AWS CLI 指定 Amazon EBS 根设备卷大小
  • 使用 create-cluster 命令的 --ebs-root-volume-size 参数,如以下示例所示。

    注意

    为了便于读取,包含 Linux 行继续符(\)。它们可以通过 Linux 命令删除或使用。对于 Windows,请将它们删除或替换为脱字号(^)。

    aws emr create-cluster --release-label emr-5.7.0 \ --ebs-root-volume-size 20 --instance-groups InstanceGroupType=MASTER,\ InstanceCount=1,InstanceType=m5.xlarge InstanceGroupType=CORE,InstanceCount=2,InstanceType=m5.xlarge