设置一个VPC来托管 Amazon EMR 集群 - Amazon EMR

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

设置一个VPC来托管 Amazon EMR 集群

必须先创建VPC和子网VPC，然后才能在中启动集群。对于公有子网，您必须创建一个 Internet 网关并将它连接到子网。以下说明描述了如何创建VPC能够托管 Amazon EMR 集群的。

为 Amazon EMR 集群创建VPC带子网的

  1. 打开 Amazon VPC 控制台，网址为https://console.aws.amazon.com/vpc/。

  2. 在页面的右上角，AWS 区域为你VPC选择。

  3. 选择 “创建” VPC。

  4. 在VPC设置页面上，选择VPC和更多。

  5. 在 “名称标签自动生成” 下，启用自动生成并输入您的名称。VPC这可以帮助您在创建VPC和子网后在 Amazon VPC 控制台中识别它们。

  6. 在IPv4CIDR区块字段中，输入您的私有 IP 地址空间，VPC以确保正确DNS解析主机名；否则，您可能会遇到 Amazon EMR 集群故障。该地址空间包括以下 IP 地址范围：

    • 10.0.0.0 - 10.255.255.255

    • 172.16.0.0 - 172.31.255.255

    • 192.168.0.0 - 192.168.255.255

  7. 在可用区数量 (AZs) 下，选择要在其中启动子网的可用区数量。

  8. 在 “公有子网数量” 下，选择要添加到您的VPC的单个公有子网。如果集群使用的数据可在互联网上获得（例如，在 Amazon S3 或 Amazon 中RDS），则您只需要使用公有子网，无需添加私有子网。

  9. 在私有子网数量下，选择要添加到私有子网的数量。VPC如果您的应用程序数据存储在您自己的网络中（例如，在 Oracle 数据库中），则选择一个或多个私有子网。对于私有子网中的，所有 Amazon EC2 实例都必须至少具有EMR通过弹性网络接口到亚马逊的路由。VPC在控制台中，将自动为您进行配置。

  10. 在NAT网关下，可以选择添加NAT网关。仅当您的私有子网需要与 Internet 通信的情况下，才需要使用它们。

  11. 在VPC终端节点下，可以选择将 Amazon S3 的终端节点添加到您的子网。

  12. 确认选中 “启用DNS主机名” 和 “启用DNS解析”。有关更多信息，请参阅DNS与您一起使用VPC。

  13. 选择 “创建” VPC。

  14. 状态窗口会显示工作的进度。工作完成后，选择 “查看” VPC 以导航到 “您的VPCs页面”，其中显示您的默认值VPC和您刚刚创建的VPC页面。您创建VPC的为非默认值VPC，因此 “默认VPC” 列显示为 “否”。

  15. 如果要将您的VPC与不包含域名的DNS条目相关联，请导航至DHCP选项集，选择 “创建DHCP选项集”，然后省略域名。创建选项集后，导航到新的选项集VPC，在 “操作” 菜单下选择 “编辑DHCP选项集”，然后选择新的选项集。创建DNS选项集后，您无法使用控制台编辑域名。

    Hadoop 和相关应用程序的最佳做法是确保解析节点的完全限定域名 (FQDN)。为确保DNS分辨率正确VPC，请配置包含参数设置为以下值的DHCP选项集：

    • domain-name = ec2.internal

      如果您所在的区域是美国东部（弗吉尼亚北部），请使用 ec2.internal。对于其他地区，请使用 region-name.compute.internal。 有关中的示例us-west-2，请使用us-west-2.compute.internal。对于 AWS GovCloud （美国西部）区域，请使用us-gov-west-1.compute.internal。

    • domain-name-servers = AmazonProvidedDNS

    有关更多信息，请参阅 Amazon VPC 用户指南中的DHCP选项集。

  16. 创建完成后，转至 “子网” 页面，记下新子网的其中一个子网的子网 ID。VPC VPC当您将 Amazon EMR 集群启动到中时，您将使用这些信息VPC。