让 SageMaker 培训工作访问您的 Amazon 中的资源 VPC

注意

对于训练作业，您只能配置默认租期的子网，您的实例VPC在共享硬件上运行。有关租期属性的更多信息VPCs，请参阅专用实例。

为 Amazon A VPC ccess 配置训练 Job

要控制对训练作业的访问权限，请在VPC具有无法访问互联网的私有子网的 Amazon 中运行这些任务。

VPC通过指定训练作业的子网和安全组IDs，您可以将训练作业配置为在中运行。您无需为训练作业的容器指定子网。亚马逊 SageMaker 会自动从亚马逊ECR提取训练容器图片。

创建训练任务时，您可以VPC使用 Amazon SageMaker 控制台或，在中指定子网和安全组。API

要使用API，请在 CreateTrainingJob操作的VpcConfig参数IDs中指定子网和安全组。 SageMaker 使用子网和安全组详细信息创建网络接口并将其连接到训练容器。网络接口为训练容器提供了内部的网络连接VPC。这允许训练作业连接到您的中存在的资源VPC。

以下是您在调用 CreateTrainingJob 操作时将包含的 VpcConfig 参数的示例：

VpcConfig: {
      "Subnets": [
          "subnet-0123456789abcdef0",
          "subnet-0123456789abcdef1",
          "subnet-0123456789abcdef2"
          ],
      "SecurityGroupIds": [
          "sg-0123456789abcdef0"
          ]
        }

配置您的私人 SageMaker 训练VPC专用

VPC为 SageMaker 训练作业配置私有模式时，请遵循以下准则。有关设置的信息VPC，请参阅 Amazon VPC 用户指南中的使用VPCs和子网。

确保子网拥有足够的 IP 地址

不使用弹性结构适配器 (EFA) 的训练实例应至少有 2 个私有 IP 地址。使用的训练实例EFA应至少有 5 个私有 IP 地址。有关更多信息，请参阅 Amazon EC2 用户指南中的多个 IP 地址。

在训练作业中，每个实例的VPC子网应至少有两个私有 IP 地址。有关更多信息，请参阅 VPC Amazon VPC 用户指南IPv4中的子网大小。

创建 Amazon S3 VPC 终端节点

如果您将您的配置为无法访问互联网VPC，则除非您创建允许访问的VPC终端节点，否则它们将无法连接到包含您的训练数据的 Amazon S3 存储桶。通过创建VPC终端节点，您可以允许训练容器访问存储数据和模型工件的存储桶。我们还建议您创建自定义策略，仅允许来自您的私有存储桶的请求VPC访问您的 S3 存储桶。有关更多信息，请参阅用于 Amazon S3 的端点。

要创建 S3 VPC 端点，请执行以下操作：

1. 打开 Amazon VPC 控制台，网址为https://console.aws.amazon.com/vpc/。

2. 在导航窗格中，选择 Endpoints (终端节点)，然后选择 Create Endpoint (创建终端节点)。

3. 对于服务名称，搜索 com.amazonaws。region.s3，其中 region 是您VPC居住的地区的名称。

4. 选择网关类型。

5. 对于 VPC，请选择VPC要用于此端点的。

6. 对于 Configure route tables，选择终端节点要使用的路由表。该VPC服务会自动向您选择的每个路由表添加一条路由，将任何 S3 流量指向新的终端节点。

7. 对于策略，选择完全访问权限以允许任何用户或其中的服务完全访问 S3 服务VPC。选择 Custom (自定义) 以进一步限制访问。有关信息，请参阅使用自定义终端节点策略限制 S3 访问。

使用自定义终端节点策略限制 S3 访问

默认终端节点策略允许您中的任何用户或服务完全访问 S3 VPC。要进一步限制 S3 访问，请创建一个自定义终端节点策略。有关更多信息，请参阅对 Amazon S3 使用端点策略。您还可以使用存储桶策略将访问您的 S3 存储桶限制为仅限来自您的 Amazon VPC 的流量。有关信息，请参阅使用 Amazon S3 存储桶策略。

限制在训练容器上安装包

默认终端节点策略允许用户在训练容器中安装来自 Amazon Linux 和 Amazon Linux 2 存储库的包。如果您不希望用户安装来自该存储库的包，则创建一个自定义终端节点策略，明确拒绝访问 Amazon Linux 和 Amazon Linux 2 存储库。以下是拒绝访问这些存储库的策略示例：

{ 
    "Statement": [ 
      { 
        "Sid": "AmazonLinuxAMIRepositoryAccess",
        "Principal": "*",
        "Action": [ 
            "s3:GetObject" 
        ],
        "Effect": "Deny",
        "Resource": [
            "arn:aws:s3:::packages.*.amazonaws.com/*",
            "arn:aws:s3:::repo.*.amazonaws.com/*"
        ] 
      } 
    ] 
} 

{ 
    "Statement": [ 
        { "Sid": "AmazonLinux2AMIRepositoryAccess",
          "Principal": "*",
          "Action": [ 
              "s3:GetObject" 
              ],
          "Effect": "Deny",
          "Resource": [
              "arn:aws:s3:::amazonlinux.*.amazonaws.com/*" 
              ] 
         } 
    ] 
} 

配置路由表

使用终端节点路由表的默认DNS设置，以便标准的 Amazon S3URLs（例如http://s3-aws-region.amazonaws.com/amzn-s3-demo-bucket）可以解析。如果您不使用默认DNS设置，请确保通过配置终端节点路由表来解析用于指定训练作业中数据位置的设置。URLs有关VPC终端节点路由表的信息，请参阅 Amazon VPC 用户指南中的网关终端节点路由。

配置VPC安全组

在分布式训练中，您必须允许同一训练作业中的不同容器之间进行通信。为此，请为您的安全组配置规则，以允许同一安全组的成员之间实现入站连接。对于EFA已启用该功能的实例，请确保入站和出站连接都允许来自同一安全组的所有流量。有关信息，请参阅《Amazon Virtual Private Cloud 用户指南》中的安全组规则。

Connect 连接到你以外的资源 VPC

如果您将其配置VPC为无法访问 Internet，则使用的VPC培训作业无法访问您外部的资源VPC。如果您的训练作业需要访问您之外的资源VPC，请使用以下选项之一提供访问权限：

• 如果你的训练作业需要访问 AWS 支持接口VPC端点的服务，请创建一个终端节点以连接到该服务。有关支持接口终端节点的服务列表，请参阅 Amazon Virtual Private Cloud 用户指南中的VPC终端节点。有关创建接口终端节点的信息，请参阅接口VPC终VPC端节点 (AWS PrivateLink）在《亚马逊 Virtual Private Cloud 用户指南》中。

• 如果你的训练作业需要访问 AWS 不支持接口VPC端点或指向外部资源的服务 AWS，创建NAT网关并将您的安全组配置为允许出站连接。有关为您的设置NAT网关的信息VPC，请参阅 Amazon Virtual Private Cloud 用户指南中的场景 2：VPC使用公有子网和私有子网 (NAT)。

使用 CloudWatch 日志和指标监控 Amazon SageMaker 训练作业

亚马逊 SageMaker 提供亚马逊 CloudWatch 日志和指标来监控训练作业。 CloudWatch 提供CPU、GPU、内GPU存、内存和磁盘指标以及事件记录。有关监控 Amazon SageMaker 培训作业的更多信息，请参阅 SageMaker 使用亚马逊监控亚马逊 CloudWatch和SageMaker 任务和终端节点指标。