Option 2, partie 1 : configurer un SSH tunnel vers le nœud principal à l'aide de la redirection de port dynamique

Pour vous connecter au serveur Web local sur le nœud principal, vous devez créer un SSH tunnel entre votre ordinateur et le nœud principal. Cette action est également appelée réacheminement de port. Si vous créez votre SSH tunnel à l'aide de la redirection de port dynamique, tout le trafic acheminé vers un port local non utilisé spécifié est transféré vers le serveur Web local sur le nœud principal. Cela crée un SOCKS proxy. Vous pouvez ensuite configurer votre navigateur Internet pour utiliser un module complémentaire tel que FoxyProxy ou SwitchyOmega pour gérer vos paramètres de SOCKS proxy.

L'utilisation d'un module complémentaire de gestion des proxys vous permet de filtrer automatiquement en URLs fonction des modèles de texte et de limiter les paramètres du proxy aux domaines qui correspondent à la forme du DNS nom public du nœud principal. Le module complémentaire du navigateur gère automatiquement l'activation et la désactivation du proxy lorsque vous basculez entre les sites Web hébergés sur le nœud primaire et ceux hébergés sur Internet.

Avant de commencer, vous avez besoin du DNS nom public du nœud principal et du fichier de clé privée de votre paire de clés. Pour plus d'informations sur la manière de localiser le DNS nom public principal, consultezRécupérez le DNS nom public du nœud principal. Pour plus d'informations sur l'accès à votre paire de clés, consultez la section relative aux paires de EC2 clés Amazon dans le guide de EC2 l'utilisateur Amazon. Pour plus d'informations sur les sites que vous pouvez afficher sur le nœud primaire, consultez Afficher les interfaces Web hébergées sur des EMR clusters Amazon.

Configurer un SSH tunnel vers le nœud principal à l'aide de la redirection de port dynamique avec Open SSH

Pour configurer un SSH tunnel à l'aide de la redirection de port dynamique avec Open SSH

1. Assurez-vous d'avoir autorisé le SSH trafic entrant. Pour obtenir des instructions, consultez Avant de vous connecter : autoriser le trafic entrant.

2. Ouvrez une fenêtre du terminal. Sous Mac OS X, choisissez Applications > Utilities > Terminal (Applications > Services > Terminal). Sur d'autres distributions Linux, le terminal se trouve généralement sur Applications > Accessories > Terminal (Applications > Accessoires > Terminal).

3. Tapez la commande suivante pour ouvrir un SSH tunnel sur votre machine locale. Remplacez ~/mykeypair.pem avec l'emplacement et le nom de fichier de votre .pem fichier, remplacez 8157 avec un numéro de port local non utilisé, et remplacez ec2-###-##-##-###.compute-1.amazonaws.com avec le DNS nom public principal de votre cluster.

   ssh -i ~/mykeypair.pem -N -D 8157 hadoop@ec2-###-##-##-###.compute-1.amazonaws.com

   Lorsque cette commande est émise, le terminal reste ouvert et ne retourne pas de réponse.

   Note

   -D indique l'utilisation du réacheminement de port dynamique, qui vous permet de spécifier un port local utilisé pour transférer des données à tous les ports à distance sur le serveur Web local du nœud primaire. La redirection de port dynamique crée un SOCKS proxy local écoutant sur le port spécifié dans la commande.

4. Une fois le tunnel actif, configurez un SOCKS proxy pour votre navigateur. Pour de plus amples informations, veuillez consulter Option 2, partie 2 : Configuration des paramètres de proxy pour afficher les sites Web hébergés sur le nœud primaire.

5. Lorsque vous avez terminé d'utiliser les interfaces Web sur le nœud primaire, fermez la fenêtre du terminal.

Configurez un SSH tunnel à l'aide de la redirection de port dynamique avec le AWS CLI

Vous pouvez créer une SSH connexion avec le nœud principal à l'aide du AWS CLI sous Windows et sous Linux, Unix et Mac OS X. Si vous utilisez le AWS CLI sous Linux, Unix ou Mac OS X, vous devez définir des autorisations sur le .pem fichier comme indiqué dansPour configurer les autorisations sur les fichiers de clé privée de paire de clés. Si vous utilisez le AWS CLI sous Windows, Pu TTY doit apparaître dans la variable d'environnement path, sinon vous risquez de recevoir un message d'erreur tel que Open SSH ou Pu TTY not available.

Pour configurer un SSH tunnel à l'aide de la redirection de port dynamique à l'aide du AWS CLI

1. Assurez-vous d'avoir autorisé le SSH trafic entrant. Pour obtenir des instructions, consultez Avant de vous connecter : autoriser le trafic entrant.

2. Créez une SSH connexion avec le nœud principal comme indiqué dansConnectez-vous au nœud principal à l'aide du AWS CLI.

3. Pour récupérer l'identifiant du cluster, tapez :

   aws emr list-clusters

   La sortie répertorie vos clusters, y compris le clusterIDs. Notez l'ID du cluster auquel vous vous connectez.

   "Status": {
       "Timeline": {
           "ReadyDateTime": 1408040782.374,
           "CreationDateTime": 1408040501.213
       },
       "State": "WAITING",
       "StateChangeReason": {
           "Message": "Waiting after step completed"
       }
   },
   "NormalizedInstanceHours": 4,
   "Id": "j-2AL4XXXXXX5T9",
   "Name": "AWS CLI cluster"

4. Tapez la commande suivante pour ouvrir un SSH tunnel vers le nœud principal à l'aide de la redirection de port dynamique. Dans l'exemple suivant, remplacez j-2AL4XXXXXX5T9 avec l'ID du cluster et remplacez ~/mykeypair.key avec l'emplacement et le nom de fichier de votre .pem fichier (pour Linux, Unix et Mac OS X) ou de votre .ppk fichier (pour Windows).

   aws emr socks --cluster-id j-2AL4XXXXXX5T9 --key-pair-file ~/mykeypair.key						

   Note

   La commande SOCKS configure automatiquement le réacheminement de port dynamique sur le port local 8157. Actuellement, ce paramètre ne peut pas être modifié.

5. Une fois le tunnel actif, configurez un SOCKS proxy pour votre navigateur. Pour de plus amples informations, veuillez consulter Option 2, partie 2 : Configuration des paramètres de proxy pour afficher les sites Web hébergés sur le nœud primaire.

6. Lorsque vous avez terminé d'utiliser les interfaces Web sur le nœud principal, fermez le AWS CLI fenêtre.

   Pour plus d'informations sur l'utilisation des EMR commandes Amazon dans le AWS CLI, voir https://docs.aws.amazon.com/cli/latest/reference/emr.

Configurer un SSH tunnel vers le nœud principal à l'aide de Pu TTY

Les utilisateurs de Windows peuvent utiliser un SSH client tel que Pu TTY pour créer un SSH tunnel vers le nœud principal. Avant de vous connecter au nœud EMR principal Amazon, vous devez télécharger et installer Pu TTY and uTTYgen P. Vous pouvez télécharger ces outils depuis la page de TTY téléchargement de Pu.

Pu TTY ne prend pas en charge de manière native le format de fichier de clé privée par paire de clés (.pem) généré par AmazonEC2. Vous utilisez P uTTYgen pour convertir votre fichier clé au TTY format Pu requis (.ppk). Vous devez convertir votre clé dans ce format (.ppk) avant de tenter de vous connecter au nœud principal à l'aide de PuTTY.

Pour plus d'informations sur la conversion de votre clé, consultez la section Conversion de votre clé privée à l'aide de P uTTYgen dans le guide de EC2 l'utilisateur Amazon.

Pour configurer un SSH tunnel à l'aide de la redirection de port dynamique à l'aide de Pu TTY

1. Assurez-vous d'avoir autorisé le SSH trafic entrant. Pour obtenir des instructions, consultez Avant de vous connecter : autoriser le trafic entrant.

2. Double-cliquez putty.exe pour démarrer PuTTY. Vous pouvez également lancer Pu TTY depuis la liste des programmes Windows.

   Note

   Si vous avez déjà une SSH session active avec le nœud principal, vous pouvez ajouter un tunnel en cliquant avec le bouton droit sur la barre de TTY titre Pu et en choisissant Modifier les paramètres.

3. Si nécessaire, dans la liste Category (Catégorie), choisissez Session.

4. Dans le champ Nom d'hôte, tapez hadoop@MasterPublicDNS. Par exemple : hadoop@ec2-###-##-##-###.compute-1.amazonaws.com.

5. Dans la liste des catégories, développez Connexion > SSH, puis choisissez Auth.

6. Pour Private key file for authentication (Fichier de clé privée pour l'authentification), choisissez Browse (Parcourir), puis sélectionnez le fichier .ppk que vous avez généré.

   Note

   Pu TTY ne prend pas en charge de manière native le format de fichier de clé privée par paire de clés (.pem) généré par AmazonEC2. Vous utilisez P uTTYgen pour convertir votre fichier clé au TTY format Pu requis (.ppk). Vous devez convertir votre clé dans ce format (.ppk) avant de tenter de vous connecter au nœud principal à l'aide de PuTTY.

7. Dans la liste des catégories, développez Connexion > SSH, puis choisissez Tunnels.

8. Dans le champ Port source, saisissez 8157 (un port local inutilisé), puis choisissez Ajouter.

9. Laissez le champ Destination vide.

10. Sélectionnez les options Dynamic (Dynamique) et Auto.

11. Choisissez Ouvrir.

12. Choisissez Oui pour ignorer l'alerte de TTY sécurité Pu.

    Important

    Lorsque vous vous connectez au nœud primaire, tapez hadoop si vous êtes invité à saisir un nom d'utilisateur.

13. Une fois le tunnel actif, configurez un SOCKS proxy pour votre navigateur. Pour de plus amples informations, veuillez consulter Option 2, partie 2 : Configuration des paramètres de proxy pour afficher les sites Web hébergés sur le nœud primaire.

14. Lorsque vous avez terminé de travailler avec les interfaces Web du nœud principal, fermez la TTY fenêtre Pu.