Afficher les interfaces Web hébergées sur les clusters Amazon EMR - Amazon EMR

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Afficher les interfaces Web hébergées sur les clusters Amazon EMR

Important

Il est possible de configurer un groupe de sécurité personnalisé pour autoriser l'accès entrant aux interfaces web. Gardez à l'esprit que tout port sur lequel vous autorisez le trafic entrant représente une faille de sécurité potentielle. Vérifiez attentivement les groupes de sécurité personnalisés pour vous assurer de réduire les failles de sécurité. Pour de plus amples informations, veuillez consulter Contrôler le trafic réseau avec des groupes de sécurité.

Hadoop et les autres applications que vous installez sur votre cluster Amazon EMR publient des interfaces utilisateur en tant que sites web hébergés sur le nœud maître. Pour des raisons de sécurité, lors de l'utilisation des groupes de sécurité gérés par EMR, ces sites web sont uniquement disponibles sur le serveur web local du nœud maître et, par conséquent, vous devez vous connecter au nœud maître pour les afficher. Pour de plus amples informations, veuillez consulter Connect au nœud maître à l'aide de SSH. Hadoop publie également les interfaces utilisateur en tant que sites web hébergés sur les nœuds principaux et de tâches. Ces sites web sont également disponibles uniquement sur les serveurs web local sur les nœuds.

Le tableau suivant répertorie les interfaces web que vous pouvez afficher sur les instances de cluster. Ces interfaces Hadoop sont disponibles sur tous les clusters. Pour les interfaces d'instances principales, remplacez master-public-dns-name par le Master public DNS (DNS public principal) répertorié sur l'onglet de cluster Summary (Résumé) dans la console EMR. Pour les interfaces d'instances principales et de tâches, remplacez coretask-public-dns-name par le Public DNS name (Nom du DNS public) répertorié pour l'instance. Pour rechercher un Public DNS name (Nom de DNS public), dans la console EMR, sélectionnez votre cluster dans la liste, choisissez l'onglet Hardware (Matériel), choisissez l' ID du groupe d'instances qui contient l'instance à laquelle vous souhaitez vous connecter, puis notez le Public DNS name (Nom de DNS public) répertorié pour l'instance.

Nom de l'interface

URI

Serveur d'historique Flink (EMR version 5.33 et ultérieure) http://master-public-dns-name:8082/
Ganglia http://master-public-dns-name/ganglia/
Hadoop HDFS NameNode (EMR version pré-6.x) https://master-public-dns-name:50470/
Hadoop HDFS NameNode http://master-public-dns-name:50070/
Hadoop HDFS DataNode http://coretask-public-dns-name:50075/
Hadoop HDFS NameNode (EMR version 6.x) https://master-public-dns-name:9871/
Hadoop HDFS DataNode (EMR version pré-6.x) https://coretask-public-dns-name:50475/
Hadoop HDFS DataNode (EMR version 6.x) https://coretask-public-dns-name:9865/
HBase http://master-public-dns-name:16010/
Hue http://master-public-dns-name:8888/
JupyterHub https://master-public-dns-name:9443/
Livy http://master-public-dns-name:8998/
Spark HistoryServer http://master-public-dns-name:18080/
Tez http://master-public-dns-name:8080/tez-ui
Gestionnaire de nœuds YARN http://coretask-public-dns-name:8042/
Gestionnaire de ressources YARN http://master-public-dns-name:8088/
Zeppelin http://master-public-dns-name:8890/

Etant donné que plusieurs interfaces spécifiques à l'application sont disponibles sur le nœud maître et ne sont pas disponibles sur les nœuds principaux et de tâches, les instructions de ce document sont spécifiques au nœud maître Amazon EMR. Vous pouvez accéder aux interfaces web sur les nœuds principaux et de tâches de la même manière qu'aux interfaces web sur le nœud maître.

Il existe plusieurs façons d'accéder aux interfaces web sur le nœud maître. La méthode la plus simple et la plus rapide consiste à utiliser SSH pour vous connecter au nœud maître et à utiliser le navigateur texte Lynx afin d'afficher les sites web de votre client SSH. Toutefois, Lynx est un navigateur texte avec une interface utilisateur limitée qui ne peut pas afficher de graphiques. L'exemple suivant montre comment ouvrir l'interface Hadoop ResourceManager à l'aide de Lynx (les URL Lynx sont également fournies lorsque vous vous connectez au nœud maître à l'aide de SSH).

lynx http://ip-###-##-##-###.us-west-2.compute.internal:8088/

Il existe deux autres options pour accéder aux interfaces web sur le nœud maître, qui fournissent des fonctionnalités de navigateur complet. Choisissez l'une des méthodes suivantes :

  • Option 1 (recommandée pour les utilisateurs plus techniques) : Utilisez un client SSH pour vous connecter au nœud maître, configurez le tunnel SSH avec le réacheminement de port local et utilisez un navigateur Internet pour ouvrir des interfaces web hébergées sur le nœud maître. Cette méthode vous permet de configurer l'accès aux interfaces web sans utiliser de proxy SOCKS.

  • Option 2 (recommandée pour les nouveaux utilisateurs) : Utilisez un client SSH pour vous connecter au nœud maître, configurez le tunnel SSH avec le réacheminement de port dynamique et configurez votre navigateur Internet pour utiliser un module complémentaire comme FoxyProxy pour Firefox ou SwitchyOmega for Chrome pour gérer vos paramètres de proxy SOCKS. Cette méthode vous permet de filtrer automatiquement les URL en fonction de modèles de texte et de limiter les paramètres de proxy aux domaines qui correspondent à la forme du nom de DNS du nœud maître. Pour plus d'informations sur la façon de configurer FoxyProxy pour Firefox et Google Chrome, consultez Option 2, partie 2 : Configuration des paramètres de proxy pour afficher les sites web hébergés sur le nœud maître.

Note

Si vous modifiez le port sur lequel une application s'exécute via la configuration de cluster, le lien hypertexte vers le port ne sera pas mis à jour dans la console Amazon EMR. Cela est dû au fait que la console n'a pas la fonctionnalité de lectureserver.portConfiguration .

Avec Amazon EMR version 5.25.0 ou ultérieure, vous pouvez accéder à l'interface utilisateur du serveur d'historique Spark à partir de la console sans configurer un proxy web via une connexion SSH. Pour de plus amples informations, veuillez consulterAccès en un clic au serveur d'historique Spark permanent.