Option 1: Richten Sie mithilfe der lokalen Portweiterleitung einen SSH-Tunnel zum Amazon EMR-Primärknoten ein

Stellen Sie eine Verbindung mit dem lokalen Webserver im Primärknoten her, indem Sie einen SSH-Tunnel zwischen Ihrem Computer und dem Primärknoten erstellen. Dies wird auch als Port-Weiterleitung bezeichnet. Wenn Sie keinen SOCKS-Proxy verwenden möchten, können Sie einen SSH-Tunnel zum Primärknoten mithilfe der lokalen Port-Weiterleitung einrichten. Bei der lokalen Port-Weiterleitung geben Sie ungenutzte lokale Ports an, die zum Weiterleiten von Datenverkehr zu bestimmten Remote-Ports auf dem lokalen Webserver des Primärknotens verwendet werden.

Zum Einrichten eines SSH-Tunnels mithilfe der lokalen Port-Weiterleitung benötigen Sie den öffentlichen DNS-Namen des Primärknotens und die Datei mit dem privaten Schlüssel Ihres Schlüsselpaares. Weitere Informationen darüber, wie Sie den öffentlichen DNS-Namen für den Master abrufen, finden Sie unter Abrufen des öffentlichen DNS-Namens für den Primärknoten. Weitere Informationen zum Zugriff auf Ihr key pair finden Sie unter EC2 Amazon-Schlüsselpaare im EC2 Amazon-Benutzerhandbuch. Weitere Informationen zu den Websites, die Sie sich auf dem Primärknoten ansehen können, finden Sie unter Anzeigen von auf Amazon-EMR-Clustern gehosteten Webschnittstellen.

Einen SSH-Tunnel zum Primärknoten mithilfe der lokalen Port-Weiterleitung unter Windows einrichten

So richten Sie einen SSH-Tunnel mithilfe der lokalen Port-Weiterleitung im Terminal ein

1. Stellen Sie sicher, dass Sie eingehenden SSH-Verkehr zugelassen haben. Detaillierte Anweisungen finden Sie unter Bevor Sie eine Verbindung zu Amazon EMR herstellen: Autorisieren Sie eingehenden Datenverkehr.

2. Öffnen Sie ein Terminal-Fenster. Wählen Sie unter Mac OS X Applications > Utilities > Terminal (Anwendungen > Dienstprogramme > Terminal) aus. In anderen Linux-Distributionen befindet sich „Terminal“ in der Regel unter Applications > Accessories > Terminal (Anwendungen > Zubehör > Terminal).

3. Geben Sie den folgenden Befehl ein, um einen SSH-Tunnel auf Ihrem lokalen Computer zu öffnen. Dieser Beispielbefehl greift auf die ResourceManager Weboberfläche zu, indem er den Datenverkehr auf dem lokalen Port 8157 (einem zufällig ausgewählten ungenutzten lokalen Port) an den Port 8088 auf dem lokalen Webserver des Master-Knotens weiterleitet. 

   Ersetzen Sie den Befehl ~/mykeypair.pem durch den Speicherort und den Dateinamen Ihrer .pem Datei und ec2-###-##-##-###.compute-1.amazonaws.com ersetzen Sie ihn durch den öffentlichen Master-DNS-Namen Ihres Clusters. Um auf eine andere Weboberfläche zuzugreifen, 8088 ersetzen Sie diese durch die entsprechende Portnummer. Ersetzen Sie beispielsweise 8088 durch 8890 für die Zeppelin-Schnittstelle.

   
   ssh -i ~/mykeypair.pem -N -L 8157:ec2-###-##-##-###.compute-1.amazonaws.com:8088 hadoop@ec2-###-##-##-###.compute-1.amazonaws.com

   -L bezeichnet die Verwendung der lokalen Port-Weiterleitung. Damit können Sie einen lokalen Port für die Weiterleitung von Datenverkehr zu einem bestimmten Remote-Port auf dem lokalen Webserver des Hauptknotens angeben.

   Nachdem Sie diesen Befehl ausgeführt haben, bleibt das Terminal geöffnet und gibt keine Antwort zurück. 

4. Um die ResourceManager Weboberfläche in Ihrem Browser zu öffnen, geben Sie http://localhost:8157/ in die Adressleiste ein.

5. Wenn Sie die Arbeit mit den Webschnittstellen im Primärknoten beendet haben, schließen Sie die Terminal-Fenster.