Offri ai SageMaker corsi di formazione l'accesso alle risorse nel tuo Amazon VPC

Nota

Per i processi di addestramento, è possibile configurare solo le sottoreti con un VPC con tenancy predefinita in cui l'istanza viene eseguita su hardware condiviso. Per ulteriori informazioni sull'attributo di tenancy per i VPC, consulta Istanze dedicate.

Configurazione di un processo di addestramento per l'accesso ad Amazon VPC

Per controllare l'accesso ai tuoi processi di addestramento, eseguili in un Amazon VPC con sottoreti private che non dispongono di accesso a Internet.

Puoi configurare il processo di addestramento per l'esecuzione nel VPC specificandone le sottoreti e gli ID dei gruppi di sicurezza. Non devi specificare la sottorete per il container del processo di addestramento. Amazon estrae SageMaker automaticamente l'immagine del contenitore di formazione da Amazon ECR.

Quando crei un processo di formazione, puoi specificare le sottoreti e i gruppi di sicurezza nel tuo VPC utilizzando la SageMaker console Amazon o l'API.

Per utilizzare l'API, devi specificare le sottoreti e gli ID dei gruppi di sicurezza nel parametro dell'VpcConfigoperazione. CreateTrainingJob SageMaker utilizza i dettagli della sottorete e del gruppo di sicurezza per creare le interfacce di rete e le collega ai contenitori di formazione. Le interfacce di rete forniscono container di addestramento con una connessione di rete all'interno del tuo VPC. Ciò consente al processo di addestramento di connettersi alle risorse presenti nel tuo VPC.

Di seguito viene mostrato un esempio del parametro VpcConfig che includi nella tua chiamata all'operazione CreateTrainingJob:

VpcConfig: {
      "Subnets": [
          "subnet-0123456789abcdef0",
          "subnet-0123456789abcdef1",
          "subnet-0123456789abcdef2"
          ],
      "SecurityGroupIds": [
          "sg-0123456789abcdef0"
          ]
        }

Configura il tuo VPC privato per la formazione SageMaker

Quando configuri il VPC privato per i SageMaker tuoi lavori di formazione, utilizza le seguenti linee guida. Per informazioni su come configurare un VPC, consulta Utilizzo di VPC e sottoreti nella Guida per l'utente di Amazon VPC.

Verificare che le sottoreti abbiano abbastanza indirizzi IP

Le istanze di addestramento che non utilizzano un Elastic Fabric Adapter (EFA) devono avere almeno 2 indirizzi IP privati. Le istanze di addestramento che utilizzano un EFA devono avere almeno 5 indirizzi IP privati. Per ulteriori informazioni, consulta Indirizzi IP multipli nella Guida per l'utente di Amazon EC2.

Le sottoreti VPC devono disporre di almeno due indirizzi IP privati per ogni istanza in un processo di addestramento. Per ulteriori informazioni consulta VPC e dimensionamento delle sottoreti in IPv4 nella Guida per l'utente di Amazon VPC.

Creazione di un endpoint VPC Amazon S3

Se configuri il tuo VPC in modo che i container di addestramento non abbiano accesso a Internet, non possono connettersi ai bucket Amazon S3 che contengono i dati di addestramento, a meno che non crei un endpoint VPC che consente l'accesso. La creazione di un endpoint VPC consente ai tuoi container di addestramento di accedere ai bucket in cui archivi i tuoi dati e artefatti del modello. Ti consigliamo inoltre di creare una policy personalizzata che consente l'accesso ai tuoi bucket S3 solo alle richieste dal tuo VPC privato. Per ulteriori informazioni, consulta Endpoints for Amazon S3.

Per creare un endpoint VPC S3

1. Apri alla console Amazon VPC all'indirizzo https://console.aws.amazon.com/vpc/.

2. Nel riquadro di navigazione, selezionare Endpoints (Endpoint) e scegliere Create Endpoint (Crea endpoint).

3. In Nome del servizio cerca com.amazonaws.region.s3, dove region è il nome della Regione in cui risiede il VPC.

4. Scegli il tipo di Gateway.

5. In VPC scegliere il VPC da utilizzare per l'endpoint.

6. In Configure route tables (Configura tabelle di routing), selezionare le tabelle di routing che devono essere utilizzate dall'endpoint. Il servizio VPC aggiunge automaticamente una route a ogni tabella di routing selezionata che indirizza il traffico S3 al nuovo endpoint.

7. In Policy scegliere Full Access (Accesso completo) per consentire l'accesso completo al servizio S3 da parte degli utenti o servizi all'interno del VPC. Scegliere Custom (Personalizzato) per limitare ulteriormente l'accesso. Per informazioni, consulta Usare una policy di endpoint personalizzata per limitare l'accesso a S3.

Usare una policy di endpoint personalizzata per limitare l'accesso a S3

La policy di endpoint predefinita consente l'accesso completo a S3 da parte degli utenti o servizi nel tuo VPC. Per limitare ulteriormente l'accesso a S3, crea una policy di endpoint personalizzata. Per ulteriori informazioni, consulta Utilizzo delle policy dell'endpoint per Amazon S3. Puoi anche possibile utilizzare una policy di bucket per limitare l'accesso ai bucket S3 al solo traffico proveniente dal tuo Amazon VPC. Per ulteriori informazioni, consulta Utilizzo delle policy bucket Amazon S3.

Limitare l'installazione dei pacchetti nel container di addestramento

La policy di endpoint predefinita permette agli utenti di installare pacchetti dai repository di Amazon Linux e Amazon Linux 2 nel container di addestramento. Per impedire agli utenti di installare pacchetti da quel repository, crea una policy di endpoint personalizzata che nega esplicitamente l'accesso ai repository di Amazon Linux e Amazon Linux 2. Di seguito è riportato un esempio di policy che nega l'accesso a questi repository:

{ 
    "Statement": [ 
      { 
        "Sid": "AmazonLinuxAMIRepositoryAccess",
        "Principal": "*",
        "Action": [ 
            "s3:GetObject" 
        ],
        "Effect": "Deny",
        "Resource": [
            "arn:aws:s3:::packages.*.amazonaws.com/*",
            "arn:aws:s3:::repo.*.amazonaws.com/*"
        ] 
      } 
    ] 
} 

{ 
    "Statement": [ 
        { "Sid": "AmazonLinux2AMIRepositoryAccess",
          "Principal": "*",
          "Action": [ 
              "s3:GetObject" 
              ],
          "Effect": "Deny",
          "Resource": [
              "arn:aws:s3:::amazonlinux.*.amazonaws.com/*" 
              ] 
         } 
    ] 
} 

Configurare le tabelle di routing

Utilizza le impostazioni DNS predefinite per la tabella di routing di endpoint, in modo che gli URL Amazon S3 standard (ad esempio http://s3-aws-region.amazonaws.com/MyBucket) vengano risolti. Se non utilizzi le impostazioni DNS predefinite, assicurati che gli URL che utilizzi per specificare le posizioni dei dati nei tuoi processi di addestramento si risolvano configurando le tabelle di routing di endpoint. Per informazioni sulle tabelle di routing di endpoint VPC, consulta Routing per endpoint gateway nella Guida per l'utente di Amazon VPC.

Configurare il gruppo di sicurezza di VPC

Nell’addestramento distribuito, devi consentire la comunicazione tra diversi container nello stesso processo di addestramento. A tale scopo, configura una regola per il gruppo di sicurezza che consente connessioni in entrata tra i membri dello stesso gruppo di sicurezza. Per le istanze abilitate all'EFA, assicurati che le connessioni in entrata e in uscita consentano tutto il traffico proveniente dallo stesso gruppo di sicurezza. Per ulteriori informazioni, consulta Regole del gruppo di sicurezza nella Guida per l'utente del Amazon Virtual Private Cloud.

Connessione alle risorse al di fuori del VPC

Se configuri il tuo VPC in modo che non abbia accesso a Internet, i processi di addestramento che utilizzano quel VPC non hanno accesso a risorse esterne al VPC. Se il processo di addestramento deve accedere a risorse esterne al VPC, fornisci l'accesso con una delle seguenti opzioni:

• Se il tuo processo di formazione richiede l'accesso a un AWS servizio che supporta gli endpoint VPC di interfaccia, crea un endpoint per connetterti a quel servizio. Per un elenco dei servizi che supportano gli endpoint di interfaccia, consulta Endpoint VPC nella Guida per l'utente di Amazon Virtual Private Cloud. Per informazioni sulla creazione di un endpoint VPC di interfaccia, consulta Interface VPC Endpoints (AWS PrivateLink) nella Amazon Virtual Private Cloud User Guide.

• Se il tuo processo di formazione richiede l'accesso a un AWS servizio che non supporta gli endpoint VPC di interfaccia o a una risorsa esterna AWS, crea un gateway NAT e configura i tuoi gruppi di sicurezza per consentire le connessioni in uscita. Per informazioni sulla configurazione di un gateway NAT per il VPC, consulta Scenario 2: VPC con sottoreti pubbliche e private (NAT) nella Guida per l'utente di Amazon Virtual Private Cloud.

Monitora i lavori di SageMaker formazione su Amazon con CloudWatch log e metriche

Amazon SageMaker fornisce CloudWatch log e metriche Amazon per monitorare i lavori di formazione. CloudWatch fornisce parametri relativi a CPU, GPU, memoria, memoria GPU e disco e registrazione degli eventi. Per ulteriori informazioni sul monitoraggio dei lavori di SageMaker formazione di Amazon, consulta Monitora Amazon SageMaker con Amazon CloudWatch eSageMaker Metriche relative a job ed endpoint.