Ofrezca a los trabajos de SageMaker formación acceso a los recursos de su Amazon VPC

nota

Para trabajos de capacitación, puede configurar subredes solo con una VPC de tenencia predeterminada en la que la instancia se ejecuta en hardware compartido. Para obtener más información sobre los atributos de tenencia para VPC, consulte Instancias dedicadas.

Configurar un trabajo de entrenamiento para el acceso a Amazon VPC

Para controlar el acceso a sus trabajos de entrenamiento, ejecútelos en una Amazon VPC con subredes privadas que no tengan acceso a Internet.

Para configurar el trabajo de entrenamiento para que se ejecute en la VPC, especifique las subredes y los ID de los grupos de seguridad. No es necesario especificar la subred para el contenedor del trabajo de entrenamiento. Amazon extrae SageMaker automáticamente la imagen del contenedor de formación de Amazon ECR.

Al crear un trabajo de formación, puede especificar las subredes y los grupos de seguridad de su VPC mediante la consola de SageMaker Amazon o la API.

Para usar la API, debe especificar las subredes y los ID de los grupos de seguridad en el VpcConfig parámetro de la operación. CreateTrainingJob SageMaker utiliza los detalles de la subred y el grupo de seguridad para crear las interfaces de red y las adjunta a los contenedores de entrenamiento. Las interfaces de red proporcionan a sus contenedores de entrenamiento una conexión de red en su VPC. Esto permite que el trabajo de entrenamiento se conecte a los recursos que existen en la VPC.

A continuación se muestra un ejemplo del parámetro VpcConfig incluido en su llamada a la operación CreateTrainingJob:

VpcConfig: {
      "Subnets": [
          "subnet-0123456789abcdef0",
          "subnet-0123456789abcdef1",
          "subnet-0123456789abcdef2"
          ],
      "SecurityGroupIds": [
          "sg-0123456789abcdef0"
          ]
        }

Configure su VPC privada para la formación SageMaker

Al configurar la VPC privada para sus trabajos de SageMaker formación, siga las siguientes instrucciones. Para obtener información sobre la configuración de una VPC, consulte Working with VPCs and Subnets en la Guía del usuario de Amazon VPC.

Cómo asegurar que las subredes dispongan de suficientes direcciones IP

Las instancias de entrenamiento que no usen un Elastic Fabric Adapter (EFA) deben tener al menos 2 direcciones IP privadas. Las instancias de entrenamiento que utilizan una EFA deben tener al menos 5 direcciones IP privadas. Para obtener más información, consulte Varias direcciones IP en la Guía del usuario de Amazon EC2.

Las subredes de la VPC deben disponer de al menos dos direcciones IP privadas para cada instancia en un trabajo de capacitación. Para obtener más información, consulte PC and Subnet Sizing for IPv4 en la Guía del usuario de Amazon VPC.

Crear un punto de conexión de VPC de Amazon S3

Si configura la VPC de manera que los contenedores de entrenamiento no dispongan de acceso a Internet, no se podrán conectar a los buckets de Amazon S3 que contienen los datos de entrenamiento a no ser que cree un punto de conexión de VPC que permita el acceso. Si crea un punto de enlace de la VPC, permita a los contenedores de capacitación obtener acceso a los buckets en los que almacena los datos y los artefactos de modelos. Le recomendamos que también cree una política personalizada que permita solo solicitudes de su VPC privada para obtener acceso a sus buckets de S3. Para obtener más información, consulte Puntos de enlace para Amazon S3.

Para crear un punto de enlace de la VPC de S3:

1. Abra la consola de Amazon VPC en https://console.aws.amazon.com/vpc/.

2. En el panel de navegación, elija Endpoints (Puntos de enlace) y, a continuación, elija Create Endpoint (Crear punto de enlace).

3. En Nombre del servicio, busque com.amazonaws.region.s3, donde region es el nombre de la región donde reside la VPC.

4. Elija el Tipo de puerta de enlace.

5. En VPC, elija la VPC que desea usar para este punto de conexión.

6. En Configurar tablas de enrutamiento, seleccione las tablas de enrutamiento que debe usar el punto de conexión. El servicio de VPC añadirá automáticamente una ruta a cada tabla de ruteo que seleccione que dirige cualquier tráfico de S3 al nuevo punto de enlace.

7. En Policy (Política), elija Full Access (Acceso completo) para permitir acceso completo al servicio de S3 a cualquier usuario o servicio dentro de la VPC. Elija Personalizado para restringir el acceso más. Para obtener más información, consulte Utilizar una política de puntos de enlace personalizados para restringir el acceso a S3.

Utilizar una política de puntos de enlace personalizados para restringir el acceso a S3

La política de puntos de enlace predeterminada permite acceso completo a S3 a cualquier usuario o servicio de la VPC. Para restringir aún más el acceso a S3, cree una política de puntos de enlace personalizada. Para obtener más información, consulte Using Endpoint Policies for Amazon S3. También puede utilizar una política de bucket para restringir el acceso a los buckets de S3 a solo el tráfico que proceda de su Amazon VPC. Para obtener más información, consulte Using Amazon S3 Bucket Policies.

Restringir la instalación de paquetes en el contenedor de capacitación

La política de punto de enlace predeterminada permite a los usuarios instalar paquetes desde los repositorios de Amazon Linux y Amazon Linux 2 en el paquete de capacitación. Si no desea que los usuarios instalen paquetes desde ese repositorio, cree una política de punto de enlace personalizada que deniegue de forma explícita el acceso a los repositorios de Amazon Linux y Amazon Linux 2. A continuación se muestra un ejemplo de una política que deniega el acceso a estos repositorios:

{ 
    "Statement": [ 
      { 
        "Sid": "AmazonLinuxAMIRepositoryAccess",
        "Principal": "*",
        "Action": [ 
            "s3:GetObject" 
        ],
        "Effect": "Deny",
        "Resource": [
            "arn:aws:s3:::packages.*.amazonaws.com/*",
            "arn:aws:s3:::repo.*.amazonaws.com/*"
        ] 
      } 
    ] 
} 

{ 
    "Statement": [ 
        { "Sid": "AmazonLinux2AMIRepositoryAccess",
          "Principal": "*",
          "Action": [ 
              "s3:GetObject" 
              ],
          "Effect": "Deny",
          "Resource": [
              "arn:aws:s3:::amazonlinux.*.amazonaws.com/*" 
              ] 
         } 
    ] 
} 

Configurar tablas de ruteo

Utilice la configuración de DNS predeterminada para su tabla de enrutamiento de punto de conexión, de manera que se resuelvan las URL de Amazon S3 estándar (por ejemplo, http://s3-aws-region.amazonaws.com/MyBucket). Si no utiliza la configuración de DNS predeterminada, asegúrese de que las URL que utiliza especifiquen las ubicaciones de los datos en su resolución de trabajos de capacitación mediante la configuración de tablas de ruteo de punto de enlace. Para obtener información sobre las tablas de enrutamiento de punto de conexión de VPC, consulte Routing for Gateway Endpoints en la Guía del usuario de Amazon VPC.

Configurar el grupo de seguridad de la VPC

En la capacitación distribuida, debe permitir la comunicación entre distintos contenedores en el mismo trabajo de capacitación. Para ello, configure una regla para el grupo de seguridad que permita conexiones entrantes entre miembros del mismo grupo de seguridad. En el caso de las instancias habilitadas para EFA, asegúrese de que las conexiones entrantes y salientes permitan todo el tráfico del mismo grupo de seguridad. Para obtener más información, consulte Reglas del grupo de seguridad en la Guía del usuario de Amazon Virtual Private Cloud.

Conexión a recursos fuera de la VPC

Si configura la VPC de manera que no disponga de acceso a Internet, los trabajos de capacitación que usan esa VPC no disponen de acceso a los recursos fuera de la VPC. Si su trabajo de capacitación precisa de acceso a recursos fuera de la VPC, proporcione acceso con una de las siguientes opciones:

• Si su trabajo de formación necesita acceder a un AWS servicio que admita puntos finales de VPC de interfaz, cree un punto final para conectarse a ese servicio. Para obtener una lista de servicios que admiten puntos de conexión de interfaz, consulte Puntos de conexión de VPC en la Guía del usuario de Amazon Virtual Private Cloud. Para obtener información sobre la creación de un punto de enlace de VPC de interfaz, consulte Puntos de enlace de VPC de interfaz (AWS PrivateLink) en la Guía del usuario de Amazon Virtual Private Cloud.

• Si su trabajo de formación necesita acceso a un AWS servicio que no admite puntos finales de VPC de interfaz o a un recurso externo AWS, cree una puerta de enlace NAT y configure sus grupos de seguridad para permitir las conexiones salientes. Para obtener información sobre la configuración de una gateway NAT para su VPC, consulte Escenario 2: VPC con subredes públicas y privadas (NAT) en la Guía del usuario de Amazon Virtual Private Cloud.

Supervisa los trabajos SageMaker de formación de Amazon con CloudWatch registros y métricas

Amazon SageMaker proporciona CloudWatch registros y métricas de Amazon para supervisar los trabajos de formación. CloudWatch proporciona métricas de CPU, GPU, memoria, memoria de GPU y disco, y registro de eventos. Para obtener más información sobre la supervisión de los trabajos de SageMaker formación de Amazon, consulte Supervisa Amazon SageMaker con Amazon CloudWatch ySageMaker Métricas de trabajos y puntos finales.