EMR-Cluster auf AWS Outposts - Amazon EMR

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

EMR-Cluster auf AWS Outposts

Ab Amazon EMR 5.28.0 können Sie EMR-Cluster erstellen und ausführen. AWS Outposts AWS Outposts ermöglicht native AWS Dienste, Infrastrukturen und Betriebsmodelle in lokalen Einrichtungen. In AWS Outposts Umgebungen können Sie dieselben AWS APIs, Tools und Infrastrukturen verwenden, die Sie in der AWS Cloud verwenden. Amazon EMR on AWS Outposts ist ideal für Workloads mit niedriger Latenz, die in unmittelbarer Nähe zu lokalen Daten und Anwendungen ausgeführt werden müssen. Weitere Informationen zu finden Sie im AWS Outposts Benutzerhandbuch.AWS Outposts

Voraussetzungen

Im Folgenden sind die Voraussetzungen für die Verwendung von Amazon EMR in AWS Outposts aufgeführt:

  • Sie müssen AWS Outposts in Ihrem lokalen Rechenzentrum installiert und konfiguriert haben.

  • Sie müssen über eine zuverlässige Netzwerkverbindung zwischen Ihrer Outpost-Umgebung und einer AWS Region verfügen.

  • Sie müssen über ausreichende Kapazität für Amazon EMR-unterstützte Instance-Typen in Ihrem Outpost verfügen.

Einschränkungen

Im Folgenden sind die Einschränkungen für die Verwendung von Amazon EMR auf AWS Outposts aufgeführt:

  • On-Demand-Instances sind die einzige unterstützte Option für Amazon-EC2-Instances. Spot Instances sind für Amazon EMR auf AWS Outposts nicht verfügbar.

  • Wenn Sie zusätzliche Amazon-EBS-Speichervolumes benötigen, wird nur GP2 (General Purpose SSD) unterstützt.

  • Wenn Sie die Amazon EMR-Versionen 5.28 bis 6.x verwenden AWS Outposts , können Sie nur S3-Buckets verwenden, die Objekte in einem AWS-Region von Ihnen angegebenen speichern. Mit Amazon EMR 7.0.0 und höher AWS Outposts wird Amazon EMR on auch mit dem S3A Dateisystem-Client, Präfix, unterstützt. s3a://

  • Nur die folgenden Instance-Typen werden von Amazon EMR auf AWS Outposts unterstützt:

    Instance-Klasse Instance-Typen
    Allgemeine Zwecke

    m5.xlarge | m5.2xlarge | m5.4xlarge | m5.12xlarge | m5.24xlarge | m5d.xlarge | m5d.2xlarge | m5d.4xlarge | m5d.12xlarge | m5d.24xlarge

    Für Datenverarbeitung optimiert

    c5.xlarge | c5.2xlarge | c5.4xlarge | c5.18xlarge | c5d.xlarge | c5d.2xlarge | c5d.4xlarge | c5d.18xlarge

    RAM-optimiert

    r5.xlarge | r5.2xlarge | r5.4xlarge | r5.12xlarge | r5d.xlarge | r5d.2xlarge | r5d.4xlarge | r5d.12xlarge | r5d.24xlarge

    Speicheroptimiert

    i3en.xlarge | i3en.2xlarge | i3en.3xlarge | i3en.6xlarge | i3en.12xlarge | i3en.24xlarge

Überlegungen zur Netzwerkkonnektivität

  • Wenn die Netzwerkverbindung zwischen Ihrem Outpost und seiner AWS Region unterbrochen wird, laufen Ihre Cluster weiter. Sie können jedoch keine neuen Cluster erstellen oder neue Aktionen für vorhandene Cluster ausführen, bis die Verbindung wiederhergestellt wurde. Bei Instance-Fehlern wird die Instance nicht automatisch ersetzt. Darüber hinaus werden Aktionen wie das Hinzufügen von Schritten zu einem laufenden Cluster, das Überprüfen des Ausführungsstatus der Schritte und das Senden von CloudWatch Metriken und Ereignissen verzögert.

  • Wir empfehlen Ihnen, eine zuverlässige und hochverfügbare Netzwerkkonnektivität zwischen Ihrem Outpost und der AWS Region bereitzustellen. Wenn die Netzwerkverbindung zwischen Ihrem Outpost und seiner AWS Region für mehr als ein paar Stunden unterbrochen wird, laufen Cluster, für die der Terminierungsschutz aktiviert ist, weiter, und Cluster, die den Terminierungsschutz deaktiviert haben, können beendet werden.

  • Falls die Netzwerkkonnektivität aufgrund einer routinemäßigen Wartung beeinträchtigt wird, empfehlen wir die proaktive Aktivierung des Beendigungsschutzes. Generell bedeutet die Unterbrechung der Konnektivität, dass externe Abhängigkeiten, die nicht lokal im Outpost oder Kundennetzwerk sind, nicht zugänglich sind. Dazu gehören Amazon S3, DynamoDB, das mit EMRFS Consistency View verwendet wird, und Amazon RDS, wenn eine Instance in der Region für einen Amazon-EMR-Cluster mit mehreren Primärknoten verwendet wird.

Erstellen eines Amazon EMR-Clusters auf AWS Outposts

Das Erstellen eines Amazon EMR-Clusters auf AWS Outposts ähnelt dem Erstellen eines Amazon EMR-Clusters in der AWS Cloud. Wenn Sie einen Amazon EMR-Cluster auf erstellen AWS Outposts, müssen Sie ein Amazon EC2-Subnetz angeben, das Ihrem Outpost zugeordnet ist.

Eine Amazon VPC kann sich über alle Availability Zones in einer AWS Region erstrecken. AWS Outposts sind Erweiterungen von Availability Zones, und Sie können eine Amazon VPC in einem Konto so erweitern, dass sie sich über mehrere Availability Zones und zugehörige Outpost-Standorte erstreckt. Wenn Sie den Outpost konfigurieren, ordnen Sie ihm ein Subnetz zu, um Ihre regionale VPC-Umgebung auf Ihre On-Premises-Einrichtung zu erweitern. Outpost-Instances und verwandte Services werden als Teil Ihrer regionalen VPC angezeigt, ähnlich einer Availability Zone mit verknüpften Subnetzen. Weitere Informationen finden Sie im AWS Outposts -Benutzerhandbuch.

Konsole

Um einen neuen Amazon EMR-Cluster AWS Outposts mit dem zu erstellen AWS Management Console, geben Sie ein Amazon EC2-Subnetz an, das mit Ihrem Outpost verknüpft ist.

Anmerkung

Wir haben die Amazon-EMR-Konsole neu gestaltet, um sie benutzerfreundlicher zu gestalten. Unter Amazon EMR-Konsole erfahren Sie mehr über die Unterschiede zwischen der alten und der neuen Konsolenerfahrung.

New console
Um einen Cluster mit der neuen Konsole zu AWS Outposts erstellen
  1. Melden Sie sich bei der AWS Management Console an und öffnen Sie die Amazon EMR-Konsole unter https://console.aws.amazon.com/emr.

  2. Wählen Sie im linken Navigationsbereich unter EMR in EC2 die Option Cluster und dann Cluster erstellen aus.

  3. Wählen Sie unter Clusterkonfiguration die Option Instance-Gruppen oder Instance-Flotten aus. Wählen Sie dann im Dropdownmenü EC2-Instance-Typ auswählen einen Instance-Typ aus oder wählen Sie Aktionen und anschließend EBS-Volumes hinzufügen aus. Amazon EMR on AWS Outposts unterstützt begrenzte Amazon EBS-Volumes und Instance-Typen.

  4. Wählen Sie unter Netzwerk ein EC2-Subnetz mit einer Outpost-ID in diesem Format aus: op-123456789.

  5. Wählen Sie alle anderen Optionen aus, die für Ihren Cluster gelten.

  6. Um Ihren Cluster jetzt zu starten, wählen Sie Cluster erstellen aus.

Old console
Um einen Cluster auf der alten Konsole AWS Outposts zu erstellen
  1. Navigieren Sie zur neuen Amazon-EMR-Konsole und wählen Sie in der Seitennavigation die Option Zur alten Konsole wechseln aus. Weitere Informationen darüber, was Sie erwartet, wenn Sie zur alten Konsole wechseln, finden Sie unter Verwenden der alten Konsole.

  2. Wählen Sie Cluster erstellen.

  3. Wählen Sie Go to advanced options (Zu erweiterten Optionen navigieren) aus.

  4. Wählen Sie unter Software Configuration (Softwarekonfiguration) für Release (Version) 5.28.0 oder höher aus.

  5. Wählen Sie unter Hardwarekonfiguration für EC2-Subnetz ein Amazon EC2-Subnetz mit einer Outpost-ID in diesem Format aus: op-123456789.

  6. Wählen Sie den Instance-Typ oder fügen Sie Amazon-EBS-Speichervolumes für einheitliche Instance-Gruppen oder Instance-Flotten hinzu. Amazon EMR in AWS Outposts unterstützt begrenzte Amazon-EBS-Volumes und Instance-Typen.

CLI
Um einen Cluster mit dem zu erstellen AWS OutpostsAWS CLI
  • Um einen neuen Amazon EMR-Cluster AWS Outposts mit dem zu erstellen AWS CLI, geben Sie ein EC2-Subnetz an, das Ihrem Outpost zugeordnet ist, wie im folgenden Beispiel. Ersetzen Sie Subnet-22xxxx01 durch Ihre eigene Amazon EC2-Subnetz-ID.

    aws emr create-cluster \ --name "Outpost cluster" \ --release-label emr-7.1.0 \ --applications Name=Spark \ --ec2-attributes KeyName=myKey SubnetId=subnet-22XXXX01 \ --instance-type m5.xlarge --instance-count 3 --use-default-roles