Ersetzen fehlerhafter Knoten durch Amazon EMR

Amazon EMR verwendet regelmäßig den NodeManager Health Checker-Service in Apache Hadoop, um den Status der Kernknoten in Ihrem Amazon EMR auf Amazon-Clustern zu überwachen. EC2 Wenn ein Knoten nicht optimal funktioniert, wird der Knoten als fehlerhaft markiert und der Health Checker meldet diesen Knoten an den Amazon EMR-Controller. Der Amazon EMR-Controller fügt den Knoten einer Ablehnungsliste hinzu und verhindert so, dass der Knoten neue YARN-Anwendungen empfängt, bis sich der Status des Knotens verbessert.

Anmerkung

Ein häufiger Grund dafür, dass ein Knoten fehlerhaft ist, ist, dass ihm nicht genügend Speicherplatz zur Verfügung steht. Für weitere Informationen darüber, wann ein Core-Knoten fast keinen Speicherplatz mehr hat, ist der folgende re:POST Knowledge Center-Artikel hilfreich: Warum geht dem Kernknoten in meinem Amazon EMR-Cluster der Speicherplatz aus?

Anmerkung

Hadoop bietet die Möglichkeit, benutzerdefinierte Node-Integritätsprüfungen durchzuführen. Dies wird in der Apache Hadoop-Dokumentation unter ausführlicher erklärt. NodeManager

Sie können wählen, ob Amazon EMR fehlerhafte Knoten beenden oder sie im Cluster belassen soll. Wenn Sie den Austausch fehlerhafter Knoten deaktivieren, bleiben diese auf der Sperrliste und werden weiterhin auf die Clusterkapazität angerechnet. Sie können zur Konfiguration und Wiederherstellung weiterhin eine Verbindung zu Ihrer Amazon EC2 Core-Instance herstellen, sodass Sie die Größe Ihres Clusters ändern können, wenn Sie Kapazität hinzufügen möchten. Weitere Informationen darüber, wie der Austausch und die Kündigung von Knoten funktionieren, finden Sie unter Terminierungsschutz verwenden.

Wenn der Austausch fehlerhafter Knoten aktiviert ist, beendet Amazon EMR einen fehlerhaften Core-Knoten und stellt eine neue Instance bereit, basierend auf der Anzahl der Instances in der Instance-Gruppe oder basierend auf der Zielkapazität für Instance-Flotten. Wenn Knoten länger als 45 Minuten fehlerhaft sind, ersetzt Amazon EMR die Knoten ordnungsgemäß. Wenn die ordnungsgemäße Außerbetriebnahme eines Knotens nicht innerhalb einer Stunde abgeschlossen ist, wird der Knoten gewaltsam beendet, es sei denn, durch seine Beendigung wird der Cluster unter den Replikationsfaktor oder die HDFS-Kapazitätsbeschränkungen gebracht.

Wichtig

Beachten Sie, dass sich die Zeit, die benötigt wird, bis ein Knoten ordnungsgemäß außer Betrieb genommen oder beendet wird, ändern kann.

Durch den Austausch fehlerhafter Knoten wird zwar die Wahrscheinlichkeit eines Datenverlusts erheblich verringert, das Risiko wird jedoch nicht vollständig ausgeschlossen. HDFS-Daten können beim ordnungsgemäßen Austausch einer fehlerhaften Core-Instance dauerhaft verloren gehen. Wir empfehlen, dass Sie Ihre Daten immer sichern.

Weitere Informationen zur Identifizierung fehlerhafter Knoten und zur Wiederherstellung finden Sie unter Ressourcenfehler. Weitere bewährte Methoden, die Sie befolgen können, um die Integrität eines Clusters aufrechtzuerhalten, finden Sie in der folgenden Dokumentation zum Ressourcenfehler Amazon EMR-Cluster terminates with NO_SLAVE_LEFT und Core Nodes FAILED_BY_MASTER.

Amazon EMR veröffentlicht Amazon CloudWatch Events für den Austausch fehlerhafter Knoten, sodass Sie verfolgen können, was mit Ihren fehlerhaften Core-Instances passiert. Weitere Informationen finden Sie unter Ereignisse beim Austausch fehlerhafter Knoten.

Standardeinstellungen für den Austausch von Knoten und den Kündigungsschutz

Unhealthy Node Replacement ist für alle Amazon EMR-Versionen verfügbar, aber die Standardeinstellungen hängen von der von Ihnen gewählten Release-Bezeichnung ab. Sie können jede dieser Einstellungen ändern, indem Sie beim Erstellen eines neuen Clusters den Austausch fehlerhafter Knoten konfigurieren oder indem Sie jederzeit zur Cluster-Konfiguration wechseln.

Wenn Sie einen Einzelknoten-Cluster oder einen Hochverfügbarkeitscluster erstellen, auf dem Amazon EMR Version 7.0 oder niedriger ausgeführt wird, hängt die Standardeinstellung für den Austausch fehlerhafter Knoten vom Kündigungsschutz ab:

• Durch die Aktivierung des Kündigungsschutzes wird der Austausch fehlerhafter Knoten deaktiviert.

• Durch die Deaktivierung des Terminierungsschutzes wird der Austausch fehlerhafter Knoten ermöglicht.

Konfiguration des Austauschs fehlerhafter Knoten beim Start eines Clusters

Sie können den Austausch fehlerhafter Knoten aktivieren oder deaktivieren, wenn Sie einen Cluster über die Konsole AWS CLI, die oder die API starten.

Die Standardeinstellung für den Austausch fehlerhafter Knoten hängt davon ab, wie Sie den Cluster starten:

• Amazon EMR-Konsole — Der Austausch fehlerhafter Knoten ist standardmäßig aktiviert.

• AWS CLI aws emr create-cluster— Der Austausch fehlerhafter Knoten ist standardmäßig aktiviert, sofern Sie nichts anderes angeben. --no-unhealthy-node-replacement

• Der Amazon RunJobFlow EMR-API-Befehl — Austausch ungesunder Knoten ist standardmäßig aktiviert, sofern Sie den UnhealthyNodeReplacement booleschen Wert nicht auf oder setzen. True False

Console

Um den Austausch fehlerhafter Knoten ein oder aus zu schalten, wenn Sie mit der Konsole einen Cluster erstellen

1. Melden Sie sich bei der AWS Management Console an und öffnen Sie die Amazon EMR-Konsole unter https://console.aws.amazon.com/emr.

2. Wählen Sie EC2 im linken Navigationsbereich unter EMR on die Option Clusters und dann Create cluster aus.

3. Wählen Sie für die EMR-Release-Version das gewünschte Amazon EMR-Release-Label aus.

4. Vergewissern Sie sich, dass unter Clusterbeendigung und Austausch von Knoten die Option Fehlerhafter Knotenaustausch (empfohlen) vorausgewählt ist, oder löschen Sie die Auswahl, um ihn auszuschalten.

5. Wählen Sie alle anderen Optionen aus, die für Ihren Cluster gelten.

6. Um Ihren Cluster jetzt zu starten, wählen Sie Cluster erstellen aus.

AWS CLI

Um den Austausch fehlerhafter Knoten zu aktivieren oder zu deaktivieren, wenn Sie einen Cluster mit dem AWS CLI

• Mit dem können Sie einen Cluster starten AWS CLI, bei dem der Austausch fehlerhafter Knoten mit dem create-cluster Befehl mit dem --unhealthy-node-replacement Parameter aktiviert ist. Der Austausch fehlerhafter Knoten ist standardmäßig aktiviert.

  Im folgenden Beispiel wird ein Cluster erstellt, bei dem der Austausch fehlerhafter Knoten aktiviert ist:

  Anmerkung

  Linux-Zeilenfortsetzungszeichen (\) sind aus Gründen der Lesbarkeit enthalten. Sie können entfernt oder in Linux-Befehlen verwendet werden. Entfernen Sie sie unter Windows oder ersetzen Sie sie durch ein Caret-Zeichen (^).

  aws emr create-cluster --name "SampleCluster" --release-label emr-7.10.0 \
  --applications Name=Hadoop Name=Hive Name=Pig \
  --use-default-roles --ec2-attributes KeyName=myKey --instance-type m5.xlarge \
  --instance-count 3 --unhealthy-node-replacement

  Weitere Informationen zur Verwendung von Amazon EMR-Befehlen finden Sie unter Amazon AWS CLI EMR-Befehle. AWS CLI

Konfiguration eines fehlerhaften Knotenaustauschs in einem laufenden Cluster

Sie können den Austausch fehlerhafter Knoten für einen laufenden Cluster mithilfe der Konsole, der oder der API ein AWS CLI- oder ausschalten.

Console

Um den Austausch fehlerhafter Knoten für einen laufenden Cluster mit der Konsole ein- oder auszuschalten

1. Melden Sie sich bei der AWS Management Console an und öffnen Sie die Amazon EMR-Konsole unter https://console.aws.amazon.com/emr.

2. Wählen Sie EC2 im linken Navigationsbereich unter EMR on die Option Clusters und dann den Cluster aus, den Sie aktualisieren möchten.

3. Suchen Sie auf der Cluster-Detailseite auf der Registerkarte Eigenschaften nach Clusterbeendigung und Knotenersatz und wählen Sie Bearbeiten aus.

4. Aktivieren oder deaktivieren Sie das Kontrollkästchen für fehlerhaften Knotenaustausch, um die Funktion ein- oder auszuschalten. Wählen Sie dann zur Bestätigung Änderungen speichern aus.

AWS CLI

Um den Austausch fehlerhafter Knoten für einen laufenden Cluster ein- oder auszuschalten, verwenden Sie den AWS CLI

• Um den Austausch fehlerhafter Knoten in einem laufenden Cluster mit dem zu aktivieren AWS CLI, verwenden Sie den modify-cluster-attributes Befehl mit dem --unhealthy-node-replacement Parameter. Um ihn zu deaktivieren, verwenden Sie den Parameter --no-unhealthy-node-replacement.

  Im folgenden Beispiel wird der Austausch fehlerhafter Knoten auf dem Cluster mit der ID aktiviert: j-3KVTXXXXXX7UG

  aws emr modify-cluster-attributes --cluster-id j-3KVTXXXXXX7UG --unhealthy-node-replacement

  Im folgenden Beispiel wird der Austausch fehlerhafter Knoten auf demselben Cluster deaktiviert:

  aws emr modify-cluster-attributes --cluster-id j-3KVTXXXXXX7UG --no-unhealthy-node-replacement