Configuration du réseau pour le développement de AWS Glue

Pour exécuter vos scripts ETL (extraction, transformation et chargement) avec AWS Glue, vous pouvez parfois développer et tester vos scripts à l'aide d'un point de terminaison de développement. Les points de terminaison de développement ne sont pas pris en charge pour une utilisation avec les tâches AWS Glue version 2.0. Pour les versions 2.0 et ultérieures, la méthode de développement préférée consiste à utiliser Jupyter Notebook avec l'un des noyaux AWS Glue. Pour de plus amples informations, veuillez consulter Démarrage avec séances interactives AWS Glue.

Configuration de votre réseau pour un point de terminaison de développement

Lorsque vous configurez un point de terminaison de développement, vous spécifiez un cloud privé virtuel (VPC), un sous-réseau et des groupes de sécurité.

Note

Veillez à configurer votre environnement DNS pour AWS Glue. Pour de plus amples informations, veuillez consulter Configuration du DNS de votre VPC.

Pour permettre à AWS Glue d'accéder aux ressources nécessaires, ajoutez une ligne dans votre table de routage de sous-réseau pour associer une liste de préfixes pour Amazon S3 au point de terminaison d'un VPC. Un ID de liste de préfixe est requis pour créer une règle de groupe de sécurité sortant qui autorise le trafic en provenance d'un VPC à accéder à un service AWS par le biais d'un point de terminaison d'un VPC. Pour faciliter la connexion à un serveur de bloc-notes associé à ce point de terminaison de développement, à partir de votre ordinateur local, ajoutez une ligne dans la table de routage pour ajouter un ID de passerelle Internet. Pour plus d'informations, consultez la page Points de terminaison d'un VPC. Mettez à jour la table de routage du sous-réseau de sorte qu'elle soit similaire à la table suivante :

Destination	Cible
10.0.0.0/16	locale
pl-id pour Amazon S3	vpce-id
0.0.0.0/0	igw-xxxx

Pour permettre à AWS Glue de communiquer entre ses composants, spécifiez un groupe de sécurité avec une règle entrante avec référence circulaire pour tous les ports TCP. En créant une règle avec référence circulaire, vous pouvez restreindre la source au même groupe de sécurité dans le VPC et ainsi, ne pas l'ouvrir à tous les réseaux. Le groupe de sécurité par défaut pour votre VPC peut déjà avoir une règle entrante avec référence circulaire pour ALL Traffic.

Pour configurer un groupe de sécurité

1. Connectez-vous à la AWS Management Console et ouvrez la console Amazon EC2 à l'adresse https://console.aws.amazon.com/ec2/.

2. Dans le volet de navigation de gauche, sélectionnez Security Groups.

3. Sélectionnez un groupe de sécurité existant dans la liste, ou choisissez Create Security Group (Créer un groupe de sécurité) pour définir le groupe de sécurité à utiliser avec le point de terminaison de développement.

4. Dans le volet du groupe de sécurité, accédez à l'onglet Inbound (Entrant).

5. Ajoutez une règle avec référence circulaire afin de permettre aux composants AWS Glue de communiquer. Plus spécifiquement, ajoutez ou confirmez qu'il existe une règle Type All TCP, que Protocol (Protocole) est TCP, que Port Range (Plage de ports) comprend tous les ports et que la valeur de Source est le même nom de groupe de sécurité que la valeur de Group ID (ID du groupe).

   La règle entrante ressemble à ce qui suit :

   Type	Protocole	Plage de ports	Source
   Tous les TCP	TCP	0-65535	security-group

   L'exemple suivant présente une règle entrante avec référence circulaire :

   

6. Ajoutez également une règle pour le trafic sortant. Ouvrez le trafic sortant pour tous les ports ou créez une règle avec référence circulaire de Type All TCP, de Protocol (Protocole) TCP, dont la valeur Port Range (Plage de ports) comprend tous les ports et que la valeur de Source est le même nom de groupe de sécurité que la valeur de Group ID (ID du groupe).

   La règle sortante ressemble à l'une de ces règles :

   Type	Protocole	Plage de ports	Destination
   Tous les TCP	TCP	0-65535	security-group
   Tout le trafic	ALL	ALL	0.0.0.0/0

Configuration d'Amazon EC2 pour un serveur de bloc-notes

Un point de terminaison de développement permet de créer un serveur de bloc-notes pour tester vos scripts ETL avec les blocs-notes Jupyter. Pour activer la communication avec votre bloc-notes, spécifiez un groupe de sécurité avec des règles entrantes pour HTTPS (port 443) et SSH (port 22). Assurez-vous que la source de la règle est 0.0.0.0/0 ou l'adresse IP de la machine qui se connecte au bloc-notes.

Pour configurer un groupe de sécurité

1. Connectez-vous à la AWS Management Console et ouvrez la console Amazon EC2 à l'adresse https://console.aws.amazon.com/ec2/.

2. Dans le volet de navigation de gauche, sélectionnez Security Groups.

3. Sélectionnez un groupe de sécurité existant dans la liste, ou choisissez Create Security Group (Créer un groupe de sécurité) pour définir le groupe de sécurité à utiliser avec votre serveur de bloc-notes. Le groupe de sécurité associé à votre point de terminaison de développement est également utilisé pour créer votre serveur de bloc-notes.

4. Dans le volet du groupe de sécurité, accédez à l'onglet Inbound (Entrant).

5. Ajoutez des règles entrantes semblables à ce qui suit :

   Type	Protocole	Plage de ports	Source
   SSH	TCP	22	0.0.0.0/0
   HTTPS	TCP	443	0.0.0.0/0

   L'image suivante présente un exemple de règles entrantes pour le groupe de sécurité :