网络配置 - AWS ParallelCluster

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

网络配置

AWS ParallelCluster使用 Amazon Virtual Private Cloud (VPC) rivatate VPC 提供了一个灵活且可配置的网络平台,您可以在其中部署集群。

VPC 必须有DNS Resolution = yesDNS Hostnames = yes和 DHCP 选项以及该区域的正确域名。默认 DHCP 选项集已经指定了所需AmazonProvided的 DNS。如果指定域名服务器不止一台,请参阅 Amazon VPC 用户指南中的 DHCP 选项集

AWS ParallelCluster支持以下高级配置:

  • 头节点和计算节点均为一个子网。

  • 两个子网,头节点位于一个公有子网中,计算节点位于私有子网中。子网可以是新子网,也可以是现有子网。

所有这些配置都可以在有或没有公有 IP 寻址的情况下运行。 AWS ParallelCluster也可以部署为使用 HTTP 代理AWS处理所有请求。这些配置的组合会产生许多部署方案。例如,您可以配置一个公有子网,所有子网均可通过 Internet 进行访问。或者,您可以使用AWS Direct Connect HTTP 代理为所有流量配置完全私有网络。

有关其中一些场景的说明,请参阅以下架构图:

AWS ParallelCluster 位于单个公有子网中

此架构的配置需要以下设置:

[vpc public] vpc_id = vpc-xxxxxx master_subnet_id = subnet-<public> use_public_ips = true

无法将该use_public_ips设置设置为false,因为 Internet 网关要求所有实例都具有全局唯一的 IP 地址。有关更多信息,请参阅 Amazon VPC 用户指南中的启用互联网访问

使用两个子网的 AWS ParallelCluster


        使用两个子网的 AWS ParallelCluster

为计算实例创建新的私有子网的配置要求使用以下设置:

请注意,所有值仅作为示例提供。

[vpc public-private-new] vpc_id = vpc-xxxxxx master_subnet_id = subnet-<public> compute_subnet_cidr = 10.0.1.0/24

使用现有私有网络的配置要求使用以下设置:

[vpc public-private-existing] vpc_id = vpc-xxxxxx master_subnet_id = subnet-<public> compute_subnet_id = subnet-<private>

这两种配置都需要 NAT 网关或内部代理才能为计算实例启用 Web 访问。

使用 AWS Direct Connect 连接的单个私有子网中的 AWS ParallelCluster


        AWS ParallelCluster与... 私密合作AWS Direct Connect

此架构的配置需要以下设置:

[cluster private-proxy] proxy_server = http://proxy.corp.net:8080 [vpc private-proxy] vpc_id = vpc-xxxxxx master_subnet_id = subnet-<private> use_public_ips = false

当设置use_public_ips为时false,必须正确设置 VPC 才能对所有流量使用代理。头节点和计算节点都需要 Web 访问权限。

AWS ParallelCluster使用awsbatch调度程序

当您用awsbatch作调度器类型时,AWS ParallelCluster会创建AWS Batch托管计算环境。该AWS Batch环境负责管理在中启动的 Amazon Elastic Container Service (Amazon ECS) 容器实例compute_subnet。AWS Batch要正常运行,Amazon ECS 容器实例需要外部网络访问以便与 Amazon ECS 服务终端节点进行通信。这会转换为以下情形:

  • compute_subnet使用 NAT 网关访问互联网。(我们推荐这种方法。)

  • 在中启动的实例compute_subnet具有公有 IP 地址,可以通过 Internet 网关访问互联网。

此外,如果你对多节点parallel 任务感兴趣(来自AWS Batch文档):

AWS Batch多节点parallel 任务使用 Amazon ECSawsvpc 网络模式,该模式使您的多节点parallel 任务容器具有与 Amazon EC2 实例相同的联网属性。每个多节点并行作业容器都可获得自己的弹性网络接口、主要私有 IP 地址以及内部 DNS 主机名。网络接口是在与其主机计算资源相同的 Amazon VPC 子网中创建的。适用于计算资源的任何安全组,也适用于该主机计算资源。

使用 Amazon ECS 任务网络时,awsvpc网络模式不为使用 Amazon EC2 启动类型的任务提供带有公有 IP 地址的弹性网络接口。要访问互联网,使用 Amazon EC2 启动类型的任务必须在配置为使用 NAT 网关的专用子网中启动使用 Amazon EC2 启动类型。

您必须配置 NAT 网关才能使集群运行多节点parallel 作业。


    AWS ParallelCluster与awsbatch调度程序联网

有关更多信息,请参阅以下主题: