Überlegungen und bewährte Methoden bei der Erstellung eines Amazon EMR-Clusters mit mehreren Primärknoten

Beachten Sie beim Erstellen eines Amazon-EMR-Clusters mit mehreren Primärknoten Folgendes:

Wichtig

Um EMR-Cluster mit hoher Verfügbarkeit mit mehreren Primärknoten zu starten, empfehlen wir dringend, die neueste Amazon-EMR-Version zu verwenden. Dadurch wird sichergestellt, dass Sie ein Höchstmaß an Resilienz und Stabilität für Ihre Hochverfügbarkeits-Cluster erhalten.

• Hochverfügbarkeit für Instance-Flotten wird mit den Amazon EMR-Versionen 5.36.1, 5.36.2, 6.8.1, 6.9.1, 6.10.1, 6.11.1, 6.12.0 und höher unterstützt. Hochverfügbarkeit für Instance-Gruppen wird mit-Amazon-EMR-Versionen 5.23.0 und höher unterstützt. Weitere Informationen finden Sie unter Über Amazon-EMR-Releases.

• Auf Clustern mit hoher Verfügbarkeit unterstützt Amazon EMR nur den Start von Primärknoten mit On-Demand-Instances. Dadurch wird die höchste Verfügbarkeit für Ihren Cluster gewährleistet.

• Sie können immer noch mehrere Instance-Typen für die primäre Flotte angeben, aber alle Primärknoten von Hochverfügbarkeits-Clustern werden mit demselben Instance-Typ gestartet, einschließlich Ersatz-Instances für fehlerhafte Primärknoten.

• Um den Betrieb fortzusetzen, müssen bei einem Hochverfügbarkeits-Cluster mit mehreren Primärknoten zwei von drei Primärknoten fehlerfrei sein. Wenn also zwei Primärknoten gleichzeitig ausfallen, fällt Ihr EMR-Cluster aus.

• Alle EMR-Cluster, einschließlich Hochverfügbarkeits-Cluster, werden in einer einzigen Availability Zone gestartet. Daher können sie Ausfälle in der Availability Zone nicht tolerieren. Beim Ausfall einer Availability Zone verlieren Sie den Zugriff auf den Cluster.

• Wenn Sie beim Starten eines Clusters innerhalb einer Instance-Flotte eine benutzerdefinierte Servicerolle oder -richtlinie verwenden, können Sie die ec2:DescribeInstanceTypeOfferings Berechtigung hinzufügen, damit Amazon EMR nicht unterstützte Availability Zones (AZ) herausfiltern kann. Wenn Amazon EMR diejenigen herausfiltert AZs , die keine Instance-Typen von Primärknoten unterstützen, verhindert Amazon EMR, dass Cluster-Starts aufgrund nicht unterstützter primärer Instance-Typen fehlschlagen. Weitere Informationen finden Sie unter Instance-Typ wird nicht unterstützt.

• Amazon EMR garantiert keine Hochverfügbarkeit von Open-Source-Anwendungen, die nicht in Unterstützte Anwendungen in einem Amazon-EMR-Cluster mit mehreren Primärknoten angegeben sind.

• In den Amazon EMR-Versionen 5.23.0 bis 5.36.2 werden nur zwei der drei primären Knoten für einen Instance-Gruppen-Cluster ausgeführt HDFS NameNode.

• In Amazon EMR-Versionen 6.x und höher werden alle drei primären Knoten für eine Instance-Gruppe ausgeführt HDFS NameNode.

Überlegungen für das Konfigurieren von Subnetzen:

• Ein Amazon-EMR-Cluster mit mehreren Primärknoten kann sich nur in einer Availability Zone oder einem Subnetz befinden. Amazon EMR kann einen ausgefallenen Primärknoten nicht ersetzen, wenn das Subnetz zum Zeitpunkt des Failover-Prozesses vollständig ausgelastet oder überabonniert ist. Um dieses Szenario zu vermeiden, sollten Sie für einen Amazon EMR-Cluster ein vollständiges Subnetz reservieren. Darüber hinaus sollten Sie sicherstellen, dass im Subnetz eine ausreichende Zahl von privaten IP-Adressen verfügbar ist.

Überlegungen für das Konfigurieren von Core-Knoten:

• Um sicherzustellen, dass die Core-Knoten ebenfalls hoch verfügbar sind, sollten Sie mindestens vier Core-Knoten starten. Wenn Sie sich entscheiden, einen kleineren Cluster mit drei oder weniger Core-Knoten zu starten, legen Sie dfs.replication parameter auf mindestens 2 fest, damit HDFS über eine ausreichende DFS-Replikation verfügt. Weitere Informationen finden Sie unter HDFS-Konfiguration.

Warnung

1. Das Festlegen von dfs.replication auf 1 auf Clustern mit weniger als vier Knoten kann zu einem HDFS-Datenverlust führen, wenn ein einzelner Knoten ausfällt. Wir empfehlen, für Produktionsworkloads einen Cluster mit mindestens vier Core-Knoten zu verwenden.

2. Amazon EMR erlaubt Clustern nicht, Core-Knoten unter dfs.replication zu skalieren. Bei dfs.replication = 2 z. B. beträgt die Mindestanzahl von Core-Knoten 2.

3. Wenn Sie verwaltete Skalierung oder Auto-Scaling verwenden oder die Größe Ihres Clusters manuell ändern möchten, empfehlen wir Ihnen, dfs.replication auf 2 oder höher einzustellen.

Überlegungen zum Einrichten von Alarmen für Metriken:

• Amazon EMR stellt zurzeit keine anwendungsspezifischen Metriken zu HDFS oder YARN bereit. Sie sollten Alarme einrichten, um die Instance-Zahl der Primärknoten zu überwachen. Konfigurieren Sie die Alarme anhand der folgenden CloudWatch Amazon-Metriken: MultiMasterInstanceGroupNodesRunningMultiMasterInstanceGroupNodesRunningPercentage,, oderMultiMasterInstanceGroupNodesRequested. CloudWatch benachrichtigt Sie, falls der Primärknoten ausfällt oder ausgetauscht wird.

  • Wenn MultiMasterInstanceGroupNodesRunningPercentage kleiner als 1,0 und größer als 0,5 ist, ist im Cluster möglicherweise ein Primärknoten ausgefallen. In diesem Fall versucht Amazon EMR, einen Primärknoten zu ersetzen.

  • Wenn MultiMasterInstanceGroupNodesRunningPercentage kleiner als 0,5 ist, sind im Cluster möglicherweise zwei Primärknoten ausgefallen. In diesem Fall ist das Quorum verloren und der Cluster kann nicht wiederhergestellt werden. Sie müssen Daten manuell aus diesem Cluster migrieren.

  Weitere Informationen finden Sie unter Einrichten von Alarmen für Metriken.