Connect zum Primärknoten her mit SSH

Secure Shell (SSH) ist ein Netzwerkprotokoll, mit dem Sie eine sichere Verbindung zu einem Remote-Computer herstellen können. Nach dem Verbinden verhält sich das Terminal auf Ihrem lokalen Computer so, als würde es auf dem Remote-Computer ausgeführt. Lokal erstellte Befehle werden auf dem Remote-Computer ausgeführt und die Befehlsausgabe vom Remote-Computer wird im Terminal-Fenster angezeigt.

Wenn Sie SSH with verwenden AWS, stellen Sie eine Verbindung zu einer EC2 Instanz her, bei der es sich um einen virtuellen Server handelt, der in der Cloud ausgeführt wird. Bei der Arbeit mit Amazon EMR SSH wird am häufigsten eine Verbindung zu der EC2 Instance hergestellt, die als primärer Knoten des Clusters fungiert.

Wenn Sie die Verbindung SSH zum primären Knoten herstellen, können Sie den Cluster überwachen und mit ihm interagieren. Sie können Linux-Befehle auf dem Primärknoten absetzen, Anwendungen wie Hive und Pig interaktiv ausführen, Verzeichnisse durchsuchen, Protokolldateien lesen usw. Sie können in Ihrer SSH Verbindung auch einen Tunnel erstellen, um die auf dem Primärknoten gehosteten Webschnittstellen anzuzeigen. Weitere Informationen finden Sie unter Auf EMR Amazon-Clustern gehostete Weboberflächen anzeigen.

Um eine Verbindung zum Primärknoten herzustellenSSH, benötigen Sie den öffentlichen DNS Namen des Primärknotens. Darüber hinaus muss die Sicherheitsgruppe, die dem Primärknoten zugeordnet ist, über eine Regel für eingehenden Datenverkehr SSH (TCPPort 22) von einer Quelle verfügen, zu der auch der Client gehört, von dem die SSH Verbindung stammt. Möglicherweise müssen Sie eine Regel hinzufügen, um eine SSH Verbindung von Ihrem Client aus zuzulassen. Weitere Informationen zum Ändern von Sicherheitsgruppenregeln finden Sie unter Steuerung des Netzwerkverkehrs mit Sicherheitsgruppen Regeln zu einer Sicherheitsgruppe hinzufügen im EC2Amazon-Benutzerhandbuch.

Rufen Sie den öffentlichen DNS Namen des primären Knotens ab

Sie können den primären öffentlichen DNS Namen über die EMR Amazon-Konsole und die abrufen AWS CLI.

Anmerkung

Wir haben die EMR Amazon-Konsole neu gestaltet, um sie benutzerfreundlicher zu gestalten. Unter Amazon EMR-Konsole erfahren Sie mehr über die Unterschiede zwischen der alten und der neuen Konsolenerfahrung.

New console

Um den öffentlichen DNS Namen des primären Knotens mit der neuen Konsole abzurufen

1. Melden Sie sich bei der AWS Management Console an und öffnen Sie die EMR Amazon-Konsole unter https://console.aws.amazon.com/emr.

2. Wählen Sie EC2 im linken Navigationsbereich unter EMRon die Option Clusters und dann den Cluster aus, für den Sie den öffentlichen DNS Namen abrufen möchten.

3. Notieren Sie sich den öffentlichen DNS Wert für den primären Knoten im Abschnitt Zusammenfassung der Cluster-Detailseite.

Old console

Um den öffentlichen DNS Namen des Primärknotens mit der alten Konsole abzurufen

1. Navigieren Sie zur neuen EMR Amazon-Konsole und wählen Sie in der Seitennavigation die Option Zur alten Konsole wechseln aus. Weitere Informationen darüber, was Sie erwartet, wenn Sie zur alten Konsole wechseln, finden Sie unter Verwenden der alten Konsole.

2. Wählen Sie auf der Seite Cluster List (Cluster-Liste) den Link für Ihren Cluster aus.

3. Notieren Sie sich den öffentlichen DNS Master-Wert, der im Abschnitt „Zusammenfassung“ der Seite mit den Cluster-Details angezeigt wird.

   Anmerkung

   Sie können auch den SSHLink wählen, um Anweisungen zum Herstellen einer SSH Verbindung mit dem Primärknoten zu erhalten.

CLI

Um den öffentlichen DNS Namen des primären Knotens mit dem abzurufen AWS CLI

1. Geben Sie den folgenden Befehl ein, um die Cluster-Kennung abzurufen:

   aws emr list-clusters

   In der Ausgabe werden Ihre Cluster einschließlich des Clusters aufgeführtIDs. Notieren Sie die Cluster-ID für den Cluster, mit dem Sie eine Verbindung herstellen.

   "Status": {
       "Timeline": {
           "ReadyDateTime": 1408040782.374,
           "CreationDateTime": 1408040501.213
       },
       "State": "WAITING",
       "StateChangeReason": {
           "Message": "Waiting after step completed"
       }
   },
   "NormalizedInstanceHours": 4,
   "Id": "j-2AL4XXXXXX5T9",
   "Name": "My cluster"

2. Um die Cluster-Instances einschließlich des öffentlichen DNS Namens für den Cluster aufzulisten, geben Sie einen der folgenden Befehle ein. Ersetzen j-2AL4XXXXXX5T9 mit der Cluster-ID, die vom vorherigen Befehl zurückgegeben wurde.

   aws emr list-instances --cluster-id j-2AL4XXXXXX5T9

   Oder:

   aws emr describe-cluster --cluster-id j-2AL4XXXXXX5T9

   In der Ausgabe werden die Cluster-Instanzen einschließlich DNS Namen und IP-Adressen aufgeführt. Notieren Sie den Wert für PublicDnsName.

   "Status": {
       "Timeline": {
           "ReadyDateTime": 1408040779.263,
           "CreationDateTime": 1408040515.535
       },
       "State": "RUNNING",
       "StateChangeReason": {}
   },
   "Ec2InstanceId": "i-e89b45e7",
   "PublicDnsName": "ec2-###-##-##-###.us-west-2.compute.amazonaws.com"
   
   "PrivateDnsName": "ip-###-##-##-###.us-west-2.compute.internal",
   "PublicIpAddress": "##.###.###.##",
   "Id": "ci-12XXXXXXXXFMH",
   "PrivateIpAddress": "###.##.#.###"

Weitere Informationen finden Sie unter EMRAmazon-Befehle in der AWS CLI.

Stellen Sie unter Linux, Unix SSH und Mac OS X mithilfe eines EC2 privaten Amazon-Schlüssels eine Connect zum Primärknoten her

Um eine mit einer privaten Schlüsseldatei authentifizierte SSH Verbindung herzustellen, müssen Sie den privaten Schlüssel des EC2 Amazon-Schlüsselpaars angeben, wenn Sie einen Cluster starten. Weitere Informationen zum Zugriff auf Ihr key pair finden Sie unter EC2Amazon-Schlüsselpaare im EC2Amazon-Benutzerhandbuch.

Ihr Linux-Computer enthält höchstwahrscheinlich standardmäßig einen SSH Client. Open SSH ist beispielsweise auf den meisten Linux-, Unix- und MacOS-Betriebssystemen installiert. Sie können nach einem SSH Client suchen, indem Sie ihn ssh in der Befehlszeile eingeben. Wenn Ihr Computer den Befehl nicht erkennt, installieren Sie einen SSH Client, um eine Verbindung zum Primärknoten herzustellen. Das SSH Open-Projekt bietet eine kostenlose Implementierung der gesamten SSH Toolsuite. Weitere Informationen finden Sie auf der SSHOpen-Website.

Die folgenden Anweisungen zeigen das Öffnen einer SSH Verbindung zum EMR Amazon-Primärknoten unter Linux, Unix und Mac OS X.

So konfigurieren Sie Berechtigungen für die Datei mit dem privaten Schlüssel Ihres Schlüsselpaares

Bevor Sie den privaten Schlüssel Ihres EC2 Amazon-Schlüsselpaars verwenden können, um eine SSH Verbindung herzustellen, müssen Sie die Berechtigungen für die .pem Datei so einrichten, dass nur der Schlüsselinhaber Zugriff auf die Datei hat. Dies ist erforderlich, um eine SSH Verbindung mit dem Terminal oder dem herzustellen AWS CLI.

1. Stellen Sie sicher, dass Sie eingehenden SSH Verkehr zugelassen haben. Anweisungen finden Sie unter Bevor Sie eine Verbindung herstellen: Autorisieren des eingehenden Datenverkehrs.

2. Suchen Sie Ihre .pem-Datei. In dieser Anleitung wird davon ausgegangen, dass die Datei mykeypair.pem heißt und im Stammverzeichnis des aktuellen Benutzers gespeichert ist.

3. Geben Sie den folgenden Befehl ein, um die Berechtigungen festzulegen. Ersetzen ~/mykeypair.pem mit dem vollständigen Pfad und Dateinamen der privaten Schlüsseldatei Ihres Schlüsselpaars. Zum Beispiel C:/Users/<username>/.ssh/mykeypair.pem.

   chmod 400 ~/mykeypair.pem

   Wenn Sie keine Berechtigungen für die .pem-Datei festlegen, erhalten Sie die Fehlermeldung, dass Ihre Schlüsseldatei nicht geschützt ist und der Schlüssel abgelehnt wird. Zum Verbinden müssen Sie die Berechtigungen für die Datei mit dem privaten Schlüssel Ihres Schlüsselpaares nur bei der ersten Verwendung festlegen.

So stellen Sie eine Verbindung mit dem Primärknoten mithilfe des Terminals her

1. Öffnen Sie ein Terminal-Fenster. Wählen Sie unter Mac OS X Applications > Utilities > Terminal (Anwendungen > Dienstprogramme > Terminal) aus. In anderen Linux-Distributionen befindet sich „Terminal“ in der Regel unter Applications > Accessories > Terminal (Anwendungen > Zubehör > Terminal).

2. Geben Sie den folgenden Befehl ein, um eine Verbindung mit dem Primärknoten herzustellen. Ersetzen ec2-###-##-##-###.compute-1.amazonaws.com mit dem primären öffentlichen DNS Namen Ihres Clusters und ersetzen ~/mykeypair.pem mit dem vollständigen Pfad und Dateinamen Ihrer .pem Datei. Zum Beispiel C:/Users/<username>/.ssh/mykeypair.pem.

   ssh hadoop@ec2-###-##-##-###.compute-1.amazonaws.com -i ~/mykeypair.pem

   Wichtig

   Sie müssen den Anmeldenamen verwendenhadoop, wenn Sie sich mit dem EMR primären Amazon-Node verbinden. Andernfalls wird möglicherweise ein Fehler ähnlich dem folgenden angezeigtServer refused our key.

3. Es wird die Warnung angezeigt, dass die Authentizität des Hosts, mit dem Sie eine Verbindung herstellen, nicht überprüft werden konnte. Geben Sie yes ein, um fortzufahren.

4. Wenn Sie mit der Arbeit am Primärknoten fertig sind, geben Sie den folgenden Befehl ein, um die SSH Verbindung zu schließen.

   exit

Wenn Sie Probleme bei der Verbindung mit SSH Ihrem primären Knoten haben, finden Sie weitere Informationen unter Problembehandlung beim Herstellen einer Verbindung zu Ihrer Instance.

Stellen Sie unter Windows eine Connect SSH zum Primärknoten her

Windows-Benutzer können einen SSH Client wie Pu verwendenTTY, um eine Verbindung zum Primärknoten herzustellen. Bevor Sie eine Verbindung zum EMR Amazon-Primärknoten herstellen, sollten Sie Pu und P herunterladen TTY und installierenuTTYgen. Sie können diese Tools von der TTYPu-Download-Seite herunterladen.

Pu TTY unterstützt das von Amazon EC2 generierte Schlüsselpaar-Dateiformat für private Schlüssel (.pem) nicht nativ. Sie verwenden PuTTYgen , um Ihre Schlüsseldatei in das erforderliche TTY Pu-Format (.ppk) zu konvertieren. Sie müssen Ihren Schlüssel in dieses Format (.ppk) konvertieren, bevor Sie versuchen, mit Pu eine Verbindung zum Primärknoten herzustellenTTY.

Weitere Informationen zur Konvertierung Ihres Schlüssels finden Sie unter Konvertieren Ihres privaten Schlüssels mit P uTTYgen im EC2Amazon-Benutzerhandbuch.

So stellen Sie mit Pu eine Verbindung zum Primärknoten her TTY

1. Stellen Sie sicher, dass Sie eingehenden SSH Datenverkehr zugelassen haben. Anweisungen finden Sie unter Bevor Sie eine Verbindung herstellen: Autorisieren des eingehenden Datenverkehrs.

2. Öffnen Sie putty.exe. Sie können Pu auch TTY von der Windows-Programmliste aus starten.

3. Falls erforderlich, wählen Sie in der Category (Kategorie)-Liste Session (Sitzung) aus.

4. Geben Sie als Hostname (oder IP-Adresse) Folgendes ein hadoop@MasterPublicDNS. Zum Beispiel: hadoop@ec2-###-##-##-###.compute-1.amazonaws.com.

5. Wählen Sie in der Kategorienliste die Option Verbindung > SSH, Auth aus.

6. Klicken Sie bei Private key file for authentication (Private Schlüsseldatei für Authentifizierung) auf Browse (Durchsuchen), und wählen Sie die .ppk-Datei aus, die Sie generiert haben.

7. Wählen Sie Öffnen und dann Ja, um die TTY Pu-Sicherheitswarnung zu schließen.

   Wichtig

   Wenn Sie sich beim Primärknoten anmelden und zur Angabe eines Benutzernamens aufgefordert werden, geben Sie hadoop ein.

8. Wenn Sie mit der Arbeit am Primärknoten fertig sind, können Sie die SSH Verbindung schließen, indem Sie Pu TTY schließen.

   Anmerkung

   Um zu verhindern, dass bei der SSH Verbindung ein Timeout auftritt, können Sie in der Kategorienliste die Option Verbindung auswählen und die Option TCP_keepalives aktivieren auswählen. Wenn Sie eine aktive SSH Sitzung in Pu habenTTY, können Sie Ihre Einstellungen ändern, indem Sie den Kontext (Rechtsklick) für die TTY Pu-Titelleiste öffnen und Einstellungen ändern wählen.

Wenn Sie Probleme bei der Verbindung mit SSH Ihrem primären Knoten haben, finden Sie weitere Informationen unter Problembehandlung beim Herstellen einer Verbindung zu Ihrer Instance.

Mit dem Primärknoten über die AWS CLI verbinden

Sie können unter Windows sowie unter Linux, Unix und Mac OS X eine SSH Verbindung mit dem Primärknoten herstellen. Unabhängig von der Plattform benötigen Sie den öffentlichen DNS Namen des Primärknotens und Ihren privaten Schlüssel für das EC2 Amazon-Schlüsselpaar. AWS CLI Wenn Sie den AWS CLI unter Linux, Unix oder Mac OS X verwenden, müssen Sie auch die Berechtigungen für die Datei mit dem privaten Schlüssel (.pemoder der Datei.ppk) festlegen, wie unter beschriebenSo konfigurieren Sie Berechtigungen für die Datei mit dem privaten Schlüssel Ihres Schlüsselpaares.

Um eine Verbindung zum Primärknoten herzustellen, verwenden Sie AWS CLI

1. Stellen Sie sicher, dass Sie eingehenden SSH Datenverkehr zugelassen haben. Anweisungen finden Sie unter Bevor Sie eine Verbindung herstellen: Autorisieren des eingehenden Datenverkehrs.

2. Geben Sie Folgendes ein, um die Cluster-Kennung abzurufen:

   aws emr list-clusters

   In der Ausgabe werden Ihre Cluster einschließlich des Clusters IDs aufgeführt. Notieren Sie die Cluster-ID für den Cluster, mit dem Sie eine Verbindung herstellen.

   "Status": {
       "Timeline": {
           "ReadyDateTime": 1408040782.374,
           "CreationDateTime": 1408040501.213
       },
       "State": "WAITING",
       "StateChangeReason": {
           "Message": "Waiting after step completed"
       }
   },
   "NormalizedInstanceHours": 4,
   "Id": "j-2AL4XXXXXX5T9",
   "Name": "AWS CLI cluster"

3. Geben Sie den folgenden Befehl ein, um eine SSH Verbindung zum primären Knoten herzustellen. Ersetzen Sie im folgenden Beispiel j-2AL4XXXXXX5T9 durch die Cluster-ID und ersetzen ~/mykeypair.key mit dem vollständigen Pfad und Dateinamen Ihrer .pem Datei (für Linux, Unix und Mac OS X) oder .ppk Datei (für Windows). Zum Beispiel C:\Users\<username>\.ssh\mykeypair.pem.

   aws emr ssh --cluster-id j-2AL4XXXXXX5T9 --key-pair-file ~/mykeypair.key						

4. Wenn Sie mit der Arbeit am Primärknoten fertig sind, schließen Sie das AWS CLI Fenster.

   Weitere Informationen finden Sie unter EMRAmazon-Befehle in der AWS CLI. Wenn Sie Probleme bei der Verbindung mit SSH Ihrem primären Knoten haben, finden Sie weitere Informationen unter Problembehandlung beim Herstellen einer Verbindung zu Ihrer Instance.