Auf EMR Amazon-Clustern gehostete Weboberflächen anzeigen - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Auf EMR Amazon-Clustern gehostete Weboberflächen anzeigen

Wichtig

Sie können eine benutzerdefinierte Sicherheitsgruppe konfigurieren, um den eingehenden Zugriff auf diese Webschnittstellen zu ermöglichen. Beachten Sie, dass jeder Port, an dem Sie eingehenden Datenverkehr zulassen, eine potenzielle Sicherheitslücke darstellt. Überprüfen Sie sorgfältig die benutzerdefinierten Sicherheitsgruppen, um Schwachstellen zu minimieren. Weitere Informationen finden Sie unter Steuerung des Netzwerkverkehrs mit Sicherheitsgruppen.

Hadoop und andere Anwendungen, die Sie auf Ihrem EMR Cluster installieren, veröffentlichen Benutzeroberflächen als Websites, die auf dem primären Knoten gehostet werden. Aus Sicherheitsgründen sind diese Websites bei der Verwendung von Amazon EMR Managed Security Groups nur auf dem lokalen Webserver des primären Knotens verfügbar. Aus diesem Grund müssen Sie eine Verbindung zum Primärknoten herstellen, um die Weboberflächen anzeigen zu können. Weitere Informationen finden Sie unter Connect zum Primärknoten her mit SSH. Hadoop veröffentlicht Benutzeroberflächen auch als Websites, die auf Core- und Aufgabenknoten gehostet werden. Diese Websites sind ebenfalls nur auf dem lokalen Webserver auf dem Knoten verfügbar.

Die folgende Tabelle enthält die Webschnittstellen, die Sie auf Cluster-Instances anzeigen lassen können: Diese Hadoop-Schnittstellen sind in allen Clustern verfügbar. Ersetzen Sie für die Master-Instance-Schnittstellen master-public-dns-name wobei der Master Public auf der Registerkarte Cluster-Zusammenfassung in der EMR Amazon-Konsole DNS aufgeführt ist. Für Core- und Task-Instance-Schnittstellen ersetzen Sie coretask-public-dns-name durch den für die Instanz aufgeführten öffentlichen DNS Namen. Um den öffentlichen DNS Namen einer Instance zu finden, wählen Sie in der EMR Amazon-Konsole Ihren Cluster aus der Liste aus, wählen Sie den Tab Hardware, wählen Sie die ID der Instance-Gruppe, die die Instance enthält, zu der Sie eine Verbindung herstellen möchten, und notieren Sie sich dann den öffentlichen DNS Namen, der für die Instance aufgeführt ist.

Name der Schnittstelle

URI
Flink History Server (EMRVersion 5.33 und höher) http://master-public-dns-name:8082/
Ganglia http://master-public-dns-name/Ganglien/
Hadoop HDFS NameNode (Version vor 6.x) EMR https://master-public-dns-name:50470/
Hadoop HDFS NameNode http://master-public-dns-name:50070/
Hadoop HDFS DataNode http://coretask-public-dns-name:50075/
Hadoop HDFS NameNode (Version 6.x) EMR https://master-public-dns-name:9870/
Hadoop HDFS DataNode (Version vor 6.x) EMR https://coretask-public-dns-name:50475/
Hadoop HDFS DataNode (Version 6.x) EMR https://coretask-public-dns-name:9865/
HBase http://master-public-dns-name:16010/
Hue http://master-public-dns-name:8888/
JupyterHub https://master-public-dns-name:9443/
Livy http://master-public-dns-name:8998/
Funke HistoryServer http://master-public-dns-name:18080/
Tez http://master-public-dns-name:8080/tez-ui
YARN NodeManager http://coretask-public-dns-name:8042/
YARN ResourceManager http://master-public-dns-name:8088/
Zeppelin http://master-public-dns-name:8890/

Da auf dem Primärknoten mehrere anwendungsspezifische Schnittstellen verfügbar sind, die auf den Core- und Task-Knoten nicht verfügbar sind, beziehen sich die Anweisungen in diesem Dokument speziell auf den EMR Amazon-Primärknoten. Auf die Webschnittstellen im Core- und Aufgabenknoten kann auf die gleiche Weise zugegriffen werden wie auf die Webschnittstellen im Primärknoten.

Es gibt mehrere Möglichkeiten, auf die Webschnittstellen im Primärknoten zuzugreifen. Die einfachste und schnellste Methode besteht darin, eine Verbindung SSH zum Primärknoten herzustellen und den textbasierten Browser Lynx zu verwenden, um die Websites in Ihrem Client anzuzeigen. SSH Lynx ist jedoch ein textbasierter Browser mit einer eingeschränkten Benutzeroberfläche, die keine Grafiken anzeigen kann. Das folgende Beispiel zeigt, wie Sie die ResourceManager Hadoop-Schnittstelle mit Lynx öffnen (Lynx URLs werden auch bereitgestellt, wenn Sie sich mit) am Primärknoten anmelden. SSH 

lynx http://ip-###-##-##-###.us-west-2.compute.internal:8088/

Es gibt zwei verbleibende Optionen für den Zugriff auf Webschnittstellen im Primärknoten, die vollständige Browserfunktionalität bieten. Wählen Sie eine der folgenden Optionen aus:

  • Option 1 (empfohlen für technisch versierte Benutzer): Verwenden Sie einen SSH Client, um eine Verbindung zum primären Knoten herzustellen, konfigurieren Sie SSH Tunneling mit lokaler Portweiterleitung und verwenden Sie einen Internetbrowser, um Webschnittstellen zu öffnen, die auf dem primären Knoten gehostet werden. Mit dieser Methode können Sie den Zugriff auf die Weboberfläche konfigurieren, ohne einen SOCKS Proxy zu verwenden.

  • Option 2 (empfohlen für neue Benutzer): Verwenden Sie einen SSH Client, um eine Verbindung zum primären Knoten herzustellen, konfigurieren Sie SSH Tunneling mit dynamischer Portweiterleitung und konfigurieren Sie Ihren Internetbrowser so, dass er ein Add-on wie FoxyProxy für Firefox oder SwitchyOmega Chrome verwendet, um Ihre SOCKS Proxyeinstellungen zu verwalten. Mit dieser Methode können Sie automatisch URLs anhand von Textmustern filtern und die Proxyeinstellungen auf Domänen beschränken, die der Form des Namens des primären Knotens DNS entsprechen. Weitere Informationen zur Konfiguration FoxyProxy für Firefox und Google Chrome finden Sie unterOption 2, Teil 2: Proxy-Einstellungen konfigurieren, um auf dem Primärknoten gehostete Websites anzeigen zu lassen.

Anmerkung

Wenn Sie den Port, auf dem eine Anwendung ausgeführt wird, über die Cluster-Konfiguration ändern, wird der Hyperlink zum Port in der EMR Amazon-Konsole nicht aktualisiert. Das liegt daran, dass die Konsole nicht über die Funktionalität verfügt, die Konfiguration server.port zu lesen.

Mit EMR Amazon-Version 5.25.0 oder höher können Sie von der Konsole aus auf die Benutzeroberfläche des Spark-History-Servers zugreifen, ohne einen Web-Proxy über eine SSH Verbindung einrichten zu müssen. Weitere Informationen finden Sie unter Zugriff auf den persistenten Spark History Server mit nur einem Klick.

Themen