Creazione di reti per lo sviluppo per AWS Glue

Per eseguire gli script di estrazione, trasformazione e caricamento (ETL) con AWS Glue, puoi sviluppare e testare gli script usando un endpoint di sviluppo. Gli endpoint di sviluppo non sono supportati per l'utilizzo con i processi AWS Glue versione 2.0. Per le versioni 2.0 e successive, il metodo di sviluppo preferito è l'utilizzo di Jupyter Notebook con uno dei kernel AWS Glue. Per ulteriori informazioni, consulta Nozioni di base sulle sessioni interattive AWS Glue.

Impostazione della rete per un endpoint di sviluppo

Quando imposti un endpoint di sviluppo, specifichi un Virtual Private Cloud (VPC), una sottorete e i gruppi di sicurezza.

Nota

Assicurati di configurare l'ambiente DNS per AWS Glue. Per ulteriori informazioni, consulta Configurazione di DNS nel VPC.

Per permettere a AWS Glue di accedere alle risorse necessarie, aggiungi una riga nella tabella di routing della sottorete per associare un elenco di prefissi per Amazon S3 all'endpoint VPC. È necessario un ID elenco prefisso per la creazione di una regola del gruppo di sicurezza in uscita che consenta al traffico da un VPC di accedere a un servizio AWS tramite un endpoint VPC. Per semplificare la connessione a un server notebook associato a questo endpoint di sviluppo, dal computer locale, aggiungi una riga alla tabella di routing per aggiungere un ID Internet Gateway. Per ulteriori informazioni, consulta Endpoint VPC. Aggiorna la tabella di routing della sottorete in modo simile alla tabella seguente:

Destinazione	Target
10.0.0.0/16	locale
pl-id per Amazon S3	vpce-id
0.0.0.0/0	igw-xxxx

Per permettere la comunicazione dei componenti di AWS Glue, specifica un gruppo di sicurezza con una regola per il traffico in entrata autoreferenziale per tutte le porte TCP. Creando una regola autoreferenziale, puoi limitare l'origine allo stesso gruppo di sicurezza del VPC senza essere aperta a tutte le reti. Il gruppo di sicurezza predefinito per il tuo VPC potrebbe già avere una regola autoreferenziata in entrata per ALL Traffic.

Per configurare un gruppo di sicurezza

1. Accedi a AWS Management Console e apri la console Amazon EC2 all'indirizzo https://console.aws.amazon.com/ec2/.

2. Nel riquadro di navigazione a sinistra, scegli Security Groups (Gruppi di sicurezza).

3. Scegli un gruppo di sicurezza esistente dall'elenco o Create Security Group (Crea gruppo di sicurezza) da usare con l'endpoint di sviluppo.

4. Nel riquadro del gruppo di sicurezza, passa alla scheda Inbound (In entrata).

5. Aggiungi una regola autoreferenziale per permettere ai componenti di AWS Glue di comunicare tra loro. In particolare, aggiungi o verifica che sia presente una regola con Type (Tipo) All TCP, Protocol (Protocollo) TCP, Port Range (Intervallo porte) che include tutte le porte e Source (Origine) corrispondente al nome del gruppo di sicurezza indicato da Group ID (ID gruppo).

   La regola in entrata è simile alla seguente:

   Type (Tipo)	Protocollo	Intervallo porte	Origine
   Tutte le regole TCP	TCP	0–65535	security-group

   Il seguente è un esempio di regola in entrata autoreferenziale:

   

6. Aggiungi una regola anche per il traffico in uscita. Apri il traffico in uscita a tutte le porte o crea una regola autoreferenziale di Type (Tipo) All TCP, con Protocol (Protocollo) TCP e Port Range (Intervallo porte) che includa tutte le porte, la cui Source (Origine) abbia lo stesso nome del gruppo di sicurezza di Group ID (ID gruppo).

   La regola in uscita è simile a una delle seguenti regole:

   Type (Tipo)	Protocollo	Intervallo porte	Destinazione
   Tutte le regole TCP	TCP	0–65535	security-group
   All Traffic	ALL	ALL	0.0.0.0/0

Impostazione di Amazon EC2 per un server notebook

Con un endpoint di sviluppo, puoi creare un server notebook per testare gli script ETL con i notebook Jupyter. Per abilitare la comunicazione con il notebook, specifica un gruppo di sicurezza con regole in entrata per HTTPS (porta 443) e SSH (porta 22). Verifica che l'origine della regola sia 0.0.0.0/0 o l'indirizzo IP del computer che si collega al notebook.

Per configurare un gruppo di sicurezza

1. Accedi a AWS Management Console e apri la console Amazon EC2 all'indirizzo https://console.aws.amazon.com/ec2/.

2. Nel riquadro di navigazione a sinistra, scegli Security Groups (Gruppi di sicurezza).

3. Scegli un gruppo di sicurezza esistente dall'elenco o Create Security Group (Crea gruppo di sicurezza) da usare con il server notebook. Il gruppo di sicurezza associato al tuo endpoint di sviluppo viene utilizzato anche per creare il server notebook.

4. Nel riquadro del gruppo di sicurezza, passa alla scheda Inbound (In entrata).

5. Aggiungi le regole in entrata simili alla seguente:

   Type (Tipo)	Protocollo	Intervallo porte	Origine
   SSH	TCP	22	0.0.0.0/0
   HTTPS	TCP	443	0.0.0.0/0

   Di seguito è riportato un esempio di regole in entrata per il gruppo di sicurezza: