Conceda aos trabalhos de SageMaker processamento acesso aos recursos em sua Amazon VPC

Para controlar o acesso aos seus dados e trabalhos de processamento, crie uma Amazon VPC com sub-redes privadas. Para obter informações sobre como criar e configurar uma VPC, consulte Conceitos básicos da Amazon VPC no Guia do usuário da Amazon VPC.

É possível monitorar todo o tráfego de rede de entrada e saída dos contêineres de processamento com os logs de fluxo da VPC. Para obter mais informações, consulte Logs de fluxo da VPC no Guia do usuário do Amazon Virtual Private Cloud.

Este documento explica como adicionar configurações da Amazon VPC para trabalhos de processamento.

Configurar um trabalho de processamento para acesso à Amazon VPC

Configure o trabalho de processamento especificando as sub-redes e os IDs do grupo de segurança na VPC. Não é necessário especificar a sub-rede para o contêiner de processamento. A Amazon retira SageMaker automaticamente o contêiner de processamento do Amazon ECR. Para obter mais informações sobre os contêineres de processamento, consulte Use trabalhos de processamento para executar cargas de trabalho de transformação de dados.

Ao criar um trabalho de processamento, você pode especificar sub-redes e grupos de segurança em sua VPC usando o SageMaker console ou a API.

Para usar a API, você especifica as sub-redes e os IDs do grupo de segurança no NetworkConfig.VpcConfig parâmetro da CreateProcessingJoboperação. SageMaker usa os detalhes da sub-rede e do grupo de segurança para criar as interfaces de rede e as anexa aos contêineres de processamento. As interfaces de rede concedem aos contêineres de processamento uma conexão de rede na sua VPC. Isso permite que o trabalho de processamento se conecte aos recursos que existem em sua VPC.

Veja a seguir um exemplo do parâmetro VpcConfig incluído na sua chamada para a operação CreateProcessingJob:

VpcConfig: {
    "Subnets": [
        "subnet-0123456789abcdef0",
        "subnet-0123456789abcdef1",
        "subnet-0123456789abcdef2"
    ],    
    "SecurityGroupIds": [
        "sg-0123456789abcdef0"
    ]
}

Configurar a VPC privada para processamento do SageMaker

Ao configurar a VPC privada para SageMaker seus trabalhos de processamento, use as diretrizes a seguir. Para obter informações sobre como configurar uma VPC, consulte Como trabalhar com VPCs e sub-redes no Guia do usuário da Amazon VPC.

Garanta que as sub-redes tenham endereços IP suficientes

As sub-redes da VPC devem ter pelo menos dois endereços IP privados para cada instância em um trabalho de processamento. Para obter mais informações, consulte Dimensionamento da VPC e da sub-rede para IPv4 no Guia do usuário da Amazon VPC.

Criar um endpoint de VPC do Amazon S3

Se você configurar a VPC para que os contêineres de processamento não tenham acesso à Internet, eles não poderão se conectar aos buckets do Amazon S3 que contêm os dados, a menos que você crie um endpoint de VPC que permita o acesso. Ao criar um VPC endpoint, você permite que os contêineres de processamento acessem os buckets onde os dados são armazenados. Recomendamos que você também crie uma política personalizada para que apenas solicitações da sua VPC privada acessem os buckets do S3. Para obter mais informações, consulte Endpoints para Amazon S3.

Criação de um VPC endpoint do S3

1. Abra o console do Amazon VPC em https://console.aws.amazon.com/vpc/.

2. No painel de navegação, selecione Endpoints e Criar endpoint.

3. Em Nome do serviço, escolha com.amazonaws.region.s3, em que a região é o nome da região em que a VPC reside.

4. Em VPC, escolha a VPC que você deseja usar para esse endpoint.

5. Para Configurar tabelas de rotas, selecione as tabelas de rotas a serem usadas pelo endpoint. O serviço VPC adiciona automaticamente uma rota a cada tabela de rotas selecionada que aponta qualquer tráfego do S3 para o novo endpoint.

6. Em Política, escolha Acesso total para permitir acesso total ao serviço do S3 por qualquer usuário ou serviço dentro da VPC. Escolha Personalizar para restringir ainda mais o acesso. Para obter mais informações, consulte Use uma política de endpoint personalizada para restringir o acesso ao S3.

Use uma política de endpoint personalizada para restringir o acesso ao S3

A política de endpoint padrão permite acesso total ao S3 para qualquer usuário ou serviço em sua VPC. Para restringir ainda mais o acesso ao S3, crie uma política de endpoint personalizada. Para obter mais informações, consulte Usar políticas de endpoint para o Amazon S3. Você também pode usar uma política de buckets para restringir o acesso aos seus buckets do S3 somente ao tráfego proveniente da sua Amazon VPC. Para obter informações, consulte Usar as Políticas do Bucket do Amazon S3.

Restringir a instalação do pacote no contêiner de processamento

A política de endpoint padrão permite que os usuários instalem pacotes dos repositórios do Amazon Linux e do Amazon Linux 2 no contêiner de processamento. Se você não deseja que os usuários instalem pacotes, crie uma política de endpoint personalizada que negue explicitamente o acesso a esses repositórios. Veja a seguir um exemplo de política que nega acesso somente a esses repositórios:

{ 
    "Statement": [ 
      { 
        "Sid": "AmazonLinuxAMIRepositoryAccess",
        "Principal": "*",
        "Action": [ 
            "s3:GetObject" 
        ],
        "Effect": "Deny",
        "Resource": [
            "arn:aws:s3:::packages.*.amazonaws.com/*",
            "arn:aws:s3:::repo.*.amazonaws.com/*"
        ] 
      } 
    ] 
} 

{ 
    "Statement": [ 
        { "Sid": "AmazonLinux2AMIRepositoryAccess",
          "Principal": "*",
          "Action": [ 
              "s3:GetObject" 
              ],
          "Effect": "Deny",
          "Resource": [
              "arn:aws:s3:::amazonlinux.*.amazonaws.com/*" 
              ] 
         } 
    ] 
} 

Configurar tabelas de rotas

Use as definições padrão de DNS da sua tabela de rotas de endpoint para que os URLs padrão do Amazon S3 (por exemplo, http://s3-aws-region.amazonaws.com/MyBucket) resolvam. Se não usar as configurações padrão de DNS, verifique se os URLs usados para especificar os locais dos dados nos trabalhos de processamento são resolvidos configurando as tabelas de rotas do endpoint. Para obter informações sobre as tabelas de rotas de endpoints da VPC, consulte Roteamento para endpoints do gateway no Guia do usuário da Amazon VPC.

Configuração do grupo de segurança da VPC

No processamento distribuído, é necessário permitir a comunicação entre os diferentes contêineres no mesmo trabalho de processamento. Para fazer isso, configure uma regra para seu grupo de segurança que permita conexões de entrada entre membros do mesmo grupo de segurança. Para obter mais informações, consulte Regras de grupos de segurança.

Conectar-se a recursos fora de sua VPC

Se você estiver conectando seus modelos a recursos fora da VPC em que eles estão sendo executados, faça o seguinte:

• Conecte-se a outros AWS serviços — Se seu modelo precisar acessar um AWS serviço que suporte endpoints de interface Amazon VPC, crie um endpoint para se conectar a esse serviço. Para obter uma lista de serviços que oferecem suporte a endpoints de interface, consulte AWS serviços que se integram AWS PrivateLink no Guia do AWS PrivateLink usuário. Para obter informações sobre como criar uma interface VPC endpoint, consulte Acessar um AWS serviço usando uma interface VPC endpoint no Guia do usuário. AWS PrivateLink

• Conecte-se a recursos pela Internet – Se seus modelos estiverem sendo executados em instâncias em uma Amazon VPC que não tenha uma sub-rede com acesso à Internet, os modelos não terão acesso aos recursos na Internet. Se seu modelo precisar acessar um AWS serviço que não ofereça suporte a endpoints VPC de interface ou a um recurso externo AWS, verifique se você está executando seus modelos em uma sub-rede privada que tenha acesso à Internet usando um gateway NAT público em uma sub-rede pública. Depois de executar seus modelos na sub-rede privada, configure seus grupos de segurança e listas de controle de acesso à rede (NACLs) para permitir conexões de saída da sub-rede privada para o gateway NAT público na sub-rede pública. Para obter mais informações, consulte Gateways NAT no Guia do usuário da Amazon VPC.

Monitore trabalhos SageMaker de processamento da Amazon com CloudWatch registros e métricas

SageMaker A Amazon fornece CloudWatch registros e métricas da Amazon para monitorar trabalhos de treinamento. CloudWatch fornece CPU, GPU, memória, memória de GPU, métricas de disco e registro de eventos. Para obter mais informações sobre o monitoramento SageMaker dos trabalhos de processamento da Amazon, consulte Monitore a Amazon SageMaker com a Amazon CloudWatch SageMaker métricas de tarefas e endpoints e.