Bewährte Methoden für die Amazon EMR-Konfiguration

Verwenden Sie bei der Konfiguration Ihres Amazon EMR-Clusters die folgenden bewährten Methoden für das Hinzufügen von Instances, das Arbeiten mit Instance-Gruppen und die Verwendung von Spot-Instances.

Hinzufügen von Instances

Bei der Konfiguration Ihres EMR-Clusters ist es wichtig, die richtige Auswahl Ihrer EC2 Instances zu treffen, die Ihre Clusterknoten repräsentieren. Denken Sie daran, dass Sie die Art der Instances nicht ändern können, z. B. die Änderung von Spot-Instances in On-Demand-Instances, wenn der Cluster läuft. Um den Primärknoten zu ändern, müssen Sie den Cluster herunterfahren und einen neuen erstellen. Aus diesem Grund müssen Sie den richtigen Instanztyp wählen, damit Sie möglichst wenig Ausfallzeiten haben. Weitere Informationen finden Sie unter Richtlinien und bewährte Methoden zur Clusterkonfiguration.

Es gibt mehrere Möglichkeiten, EC2 Instances zu einem Cluster hinzuzufügen, je nachdem, ob Sie die Instanzgruppenkonfiguration oder die Instanzflottenkonfiguration für den Cluster verwenden:

• Manuelles Hinzufügen EC2 von Instanzen

• Fügen Sie manuell eine Aufgabe zur Instanzgruppe hinzu, um automatisch eine Instanz hinzuzufügen

• Richten Sie die automatische Skalierung ein

Instance-Gruppen

Wenn Sie EC2 Instances zu Ihrer Konfiguration hinzufügen, sollten Sie die Verwendung von Instanzgruppen in Betracht ziehen. Wenn Sie Instanzen manuell hinzufügen, können Sie Instanzen desselben Typs zu bestehenden Kern- und Aufgabeninstanzgruppen hinzufügen. Sie können auch eine Task-Instanzgruppe hinzufügen, die einen anderen Instanztyp verwenden kann.

Richten Sie abschließend die automatische Skalierung in Amazon EMR für eine Instanzgruppe ein. Instances können basierend auf dem Wert einer von Ihnen angegebenen CloudWatch Amazon-Metrik automatisch hinzugefügt und entfernt werden. Andernfalls, wenn Sie Instance-Flotten verwenden, fügen Sie eine Instance-Flotte mit einer einzelnen Aufgabe hinzu. Ändern Sie dann die Zielkapazität für On-Demand-Instances und Spot-Instances für bestehende Core- und Task-Instance-Flotten.

Spot Instances

Verwenden Sie Spot-Instances auf Task-Knoten. Die Taskknoten verarbeiten Daten, enthalten jedoch keine persistenten Daten im Hadoop Distributed File System (HDFS). Wenn Task-Knoten heruntergefahren werden, weil der Spot-Preis über Ihren maximalen Spot-Preis gestiegen ist, gehen keine Daten verloren und die Auswirkungen auf Ihren Cluster sind minimal.

Wenn Sie Task-Instance-Gruppen als Spot-Instances starten, stellt Amazon EMR so viele Task-Knoten wie möglich bereit, wobei Ihr maximaler Spot-Preis verwendet wird. Sie können beispielsweise eine Task-Instance-Gruppe mit sechs Knoten anfordern. Wenn nur fünf Spot-Instances zu oder unter Ihrem maximalen Spot-Preis verfügbar sind, startet Amazon EMR die Instance-Gruppe mit fünf Knoten. Amazon EMR fügt den sechsten Knoten nach Möglichkeit später hinzu. Weitere Informationen finden Sie unter Richtlinien und bewährte Methoden zur Cluster-Konfiguration.