Affichage des interfaces web hébergées sur des clusters Amazon EMR - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Affichage des interfaces web hébergées sur des clusters Amazon EMR

Important

Il est possible de configurer un groupe de sécurité personnalisé pour autoriser l'accès entrant aux interfaces web. Gardez à l'esprit que tout port sur lequel vous autorisez le trafic entrant représente une faille de sécurité potentielle. Vérifiez attentivement les groupes de sécurité personnalisés pour vous assurer de réduire les failles de sécurité. Pour plus d'informations, consultez Contrôle du trafic réseau avec des groupes de sécurité.

Hadoop et les autres applications que vous installez sur votre cluster Amazon EMR publient des interfaces utilisateur en tant que sites web hébergés sur le nœud maître. Pour des raisons de sécurité, lors de l'utilisation des groupes de sécurité gérés par EMR, ces sites web sont uniquement disponibles sur le serveur web local du nœud maître et, par conséquent, vous devez vous connecter au nœud maître pour les afficher. Pour plus d'informations, consultez Connexion au nœud maître à l'aide de SSH. Hadoop publie également les interfaces utilisateur en tant que sites web hébergés sur les nœuds principaux et de tâches. Ces sites web sont également disponibles uniquement sur les serveurs web local sur les nœuds.

Le tableau suivant répertorie les interfaces web que vous pouvez afficher sur les instances de cluster. Ces interfaces Hadoop sont disponibles sur tous les clusters. Pour les interfaces de l'instance principale, remplacez master-public-dns-name avec le DNS public principal répertorié dans l'onglet Récapitulatif du cluster dans la console EMR. Pour les interfaces d'instance de noyau et de tâche, remplacez coretask-public-dns-name par le Nom DNS public répertorié pour l'instance. Pour rechercher un Public DNS name (Nom de DNS public), dans la console EMR, sélectionnez votre cluster dans la liste, choisissez l'onglet Hardware (Matériel), choisissez l' ID du groupe d'instances qui contient l'instance à laquelle vous souhaitez vous connecter, puis notez le Public DNS name (Nom de DNS public) répertorié pour l'instance.

Nom de l'interface

URI

Ganglia http://master-public-dns-name/ganglia/
Hadoop HDFS NameNode (version EMR pré--6.x) https://master-public-dns-name: 50470/
HDFS Hadoop NameNode http://master-public-dns-name: 50070/
HDFS Hadoop DataNode http://coretask-public-dns-name:50075/
Hadoop HDFS NameNode (EMR version 6.x) https://master-public-dns-name: 9871/
Hadoop HDFS DataNode (version EMR pré--6.x) https://coretask-public-dns-name: 50475/
Hadoop HDFS DataNode (EMR version 6.x) https://coretask-public-dns-name: 9865/
HBase http://master-public-dns-name:16010/
Hue http://master-public-dns-name:8888/
JupyterHub https://master-public-dns-name:9443/
Livy http://master-public-dns-name:8998/
SparkHistoryServer http://master-public-dns-name: 18080/
Tez http://master-public-dns-name: 8080/Interface de ligne
YARN – NodeManager http://coretask-public-dns-name: 8042/
YARN – ResourceManager http://master-public-dns-name: 8088/
Zeppelin http://master-public-dns-name:8890/

Etant donné que plusieurs interfaces spécifiques à l'application sont disponibles sur le nœud maître mais ne sont pas disponibles sur les nœuds principaux et de tâches, les instructions de ce document sont spécifiques au nœud maître Amazon EMR. Vous pouvez accéder aux interfaces web sur les nœuds principaux et de tâches de la même manière qu'aux interfaces web sur le nœud maître.

Il existe plusieurs façons d'accéder aux interfaces web sur le nœud maître. La méthode la plus simple et la plus rapide consiste à utiliser SSH pour vous connecter au nœud maître et à utiliser le navigateur texte Lynx afin d'afficher les sites web de votre client SSH. Toutefois, Lynx est un navigateur texte avec une interface utilisateur limitée qui ne peut pas afficher de graphiques. L'exemple suivant montre comment ouvrir l'interface Hadoop ResourceManager à l'aide de Lynx (Lynx URLs est également fourni lorsque vous vous connectez au nœud maître à l'aide de SSH).

lynx http://ip-###-##-##-###.us-west-2.compute.internal:8088/

Il existe deux autres options pour accéder aux interfaces web sur le nœud maître, qui fournissent des fonctionnalités de navigateur complet. Choisissez l'une des méthodes suivantes :

  • Option 1 (recommandée pour les utilisateurs plus techniques) : Utilisez un client SSH pour vous connecter au nœud maître, configurez le tunneling SSH avec le réacheminement de port local et utilisez un navigateur Internet pour ouvrir les interfaces web hébergées sur le nœud maître. Cette méthode vous permet de configurer l'accès aux interfaces web sans utiliser de proxy SOCKS.

  • Option 2 (recommandée pour les nouveaux utilisateurs) : Utilisez un client SSH pour vous connecter au nœud principal, configurez le tunneling SSH avec le réacheminement de port dynamique et configurez votre navigateur Internet pour utiliser un module complémentaire tel que FoxyProxy pour Firefox ou SwitchyOmega pour Chrome afin de gérer vos paramètres de proxy SOCKS. Cette méthode vous permet de filtrer automatiquement URLs en fonction de modèles de texte et de limiter les paramètres proxy aux domaines qui correspondent à la forme du nom DNS du nœud principal. Pour plus d'informations sur la configuration de FoxyProxy pour Firefox et Google Chrome, consultez Option 2, partie 2 : Configuration des paramètres de proxy pour afficher les sites web hébergés sur le nœud maître.

Avec Amazon EMR version 5.25.0 ou ultérieure, vous pouvez accéder à l'interface utilisateur du serveur d'historique Spark à partir de la console sans configurer un proxy web via une connexion SSH. Pour plus d'informations, consultez Accès en un clic au serveur d'historique Spark permanent.