Cluster-Hardware und Netzwerken konfigurieren - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Cluster-Hardware und Netzwerken konfigurieren

Eine wichtige Überlegung beim Erstellen eines Amazon-EMR-Clusters ist die Art und Weise, wie Sie Amazon-EC2-Instances und Netzwerkoptionen konfigurieren. Dieses Kapitel behandelt diese Optionen im Detail und beschreibt entsprechende bewährte Methoden und Richtlinien.

  • Knotentypen – Amazon-EC2-Instances in einem EMR-Cluster sind in Knotentypen organisiert. Es gibt drei Knotentypen: Primärknoten, Core-Knoten und Aufgabenknoten. Jeder Knotentyp führt eine Reihe von Rollen aus, die durch die von Ihnen auf dem Cluster installierten verteilten Anwendungen definiert werden. Während eines Hadoop MapReduce - oder Spark-Jobs verarbeiten Komponenten auf Kern- und Taskknoten beispielsweise Daten, übertragen die Ausgabe an Amazon S3 oder HDFS und stellen Statusmetadaten zurück an den primären Knoten. Bei einem einzigen Knoten-Cluster werden alle Komponenten auf dem Primärknoten ausgeführt. Weitere Informationen finden Sie unter De Knotentypen verstehen: Primär-, Core- und Aufgabenknoten.

  • EC2-Instances – Wenn Sie einen Cluster erstellen, treffen Sie Entscheidungen über die Amazon-EC2-Instances, auf denen jeder Knotentyp ausgeführt werden soll. Der EC2-Instance-Typ bestimmt das Verarbeitungs- und Speicherprofil des Knotens. Die Wahl der Amazon-EC2-Instance für Ihre Knoten ist wichtig, da sie das Leistungsprofil der einzelnen Knotentypen in Ihrem Cluster bestimmt. Weitere Informationen finden Sie unter Amazon-EC2-Instances konfigurieren.

  • Netzwerk – Sie können Ihren Amazon-EMR-Cluster in einer VPC starten, indem Sie ein öffentliches Subnetz, ein privates Subnetz oder ein gemeinsam genutztes Subnetz verwenden. Ihre Netzwerkkonfiguration bestimmt, wie Kunden und Services Verbindungen zu Clustern herstellen können, um ihre Arbeit zu erledigen, wie Cluster mit Datenspeichern und anderen AWS -Ressourcen verbunden werden und welche Optionen Sie zur Steuerung des Datenverkehrs auf diesen Verbindungen haben. Weitere Informationen finden Sie unter Netzwerk konfigurieren.

  • Instance-Gruppierung – Die Sammlung von EC2-Instances, die jeden Knotentyp hosten, wird entweder als Instance-Flotte oder als einheitliche Instance-Gruppe bezeichnet. Die Konfiguration der Instance-Gruppierung ist eine Auswahl, die Sie beim Erstellen eines Clusters treffen. Diese Auswahl bestimmt, wie Sie Ihrem Cluster Knoten hinzufügen können, während er läuft. Die Konfiguration gilt für alle Knotentypen. Er kann später nicht mehr geändert werden. Weitere Informationen finden Sie unter Einen Cluster mit Instance-Flotten oder einheitlichen Instance-Gruppen erstellen.

    Anmerkung

    Die Konfiguration der Instance-Flotten ist nur in den Amazon-EMR-Versionen 4.8.0 und höher verfügbar, mit Ausnahme von 5.0.0 und 5.0.3.