Optionen für Amazon-VPC

Wenn Sie ein Amazon-EMR-Cluster in einer VPC starten, können Sie diesen Vorgang in einem öffentlichen, privaten oder gemeinsamen Subnetz ausführen. Es gibt geringe, aber erwähnenswerte Unterschiede in Bezug auf die Konfiguration, je nachdem, welchen Subnetztyp Sie für ein Cluster auswählen.

Öffentliche Subnetze

EMR-Cluster in einem öffentlichen Subnetz erfordern ein verbundenes Internet-Gateway. Dies liegt daran, dass Amazon EMR-Cluster auf AWS Services und Amazon EMR zugreifen müssen. Wenn ein Service, wie Amazon S3 die Möglichkeit zum Erstellen eines VPC-Endpunkts bietet, können Sie auf diese Services über den Endpunkt statt über einen öffentlichen Endpunkt und ein Internet-Gateway zugreifen. Darüber hinaus kann Amazon EMR nicht über ein NAT-Gerät (Network Address Translation) mit Clustern in öffentlichen Subnetzen kommunizieren. Zu diesem Zweck ist ein Internet-Gateway erforderlich. Sie können dennoch eine NAT-Instance oder ein Gateway für anderen Datenverkehr in komplexeren Szenarien verwenden.

Alle Instances in einem Cluster stellen entweder über einen VPC-Endpunkt oder ein Internet-Gateway einen Verbindung mit Amazon S3 her. Andere AWS Dienste, die derzeit keine VPC-Endpunkte unterstützen, verwenden nur ein Internet-Gateway.

Wenn Sie über zusätzliche AWS Ressourcen verfügen, die nicht mit dem Internet-Gateway verbunden werden sollen, können Sie diese Komponenten in einem privaten Subnetz starten, das Sie in Ihrer VPC erstellen.

Cluster in einem öffentlichen Subnetz verwenden zwei Sicherheitsgruppen: eine für den Primärknoten und eine für Core- und Aufgabenknoten. Weitere Informationen finden Sie unter Steuerung des Netzwerkverkehrs mit Sicherheitsgruppen.

Das folgende Diagramm zeigt, wie ein Amazon-EMR-Cluster in einer VPC mit einem öffentlichen Subnetz ausgeführt wird. Der Cluster kann über das Internet-Gateway eine Verbindung zu anderen AWS Ressourcen wie Amazon S3 S3-Buckets herstellen.

Das folgende Diagramm zeigt, wie Sie eine VPC so einrichten, dass ein Cluster in der VPC Zugriff auf Ressourcen in Ihrem eigenen Netzwerk, wie z. B. eine Oracle-Datenbank, hat.

Private Subnetze

Mit einem privaten Subnetz können Sie AWS Ressourcen starten, ohne dass das Subnetz über ein angeschlossenes Internet-Gateway verfügen muss. Amazon EMR unterstützt nur das Starten von Clustern in privaten Subnetzen in den Versionen 4.2.0 oder höher.

Anmerkung

Wenn Sie einen Amazon-EMR-Cluster in einem privaten Subnetz einrichten, empfehlen wir, dass Sie auch VPC-Endpunkte für Amazon S3 einrichten. Wenn sich Ihr EMR-Cluster in einem privaten Subnetz ohne VPC-Endpunkte für Amazon S3 befindet, fallen zusätzliche NAT-Gateway-Gebühren an, die mit S3-Verkehr verbunden sind, da der Verkehr zwischen Ihrem EMR-Cluster und S3 nicht innerhalb Ihrer VPC verbleibt.

Private Subnetze unterscheiden sich von öffentlichen Subnetzen in folgenden Punkten:

• Um auf AWS Dienste zuzugreifen, die keinen VPC-Endpunkt bereitstellen, müssen Sie dennoch eine NAT-Instance oder ein Internet-Gateway verwenden.

• Sie müssen mindestens eine Route zum Amazon-EMR-Bucket für Serviceprotokolle und Amazon-Linux-Repository in Amazon S3 zur Verfügung stellen. Weitere Informationen finden Sie unter Amazon-S3-Mindestrichtlinie für private Subnetze.

• Wenn Sie EMRFS-Features verwenden, benötigen Sie einen Amazon-S3-VPC-Endpunkt und eine Route von Ihrem privaten Subnetz zu DynamoDB.

• Debugging funktioniert nur, wenn Sie eine Route von Ihrem privaten Subnetz zu einem öffentlichen Amazon-SQS-Endpunkt bereitstellen.

• Das Erstellen eines privaten Subnetzes mit einer NAT-Instance oder einem Gateway in einem öffentlichen Subnetz wird nur mithilfe der AWS Management Console unterstützt. Der einfachste Weg, NAT-Instances und Amazon-S3-VPC-Endpunkte für Amazon-EMR-Cluster hinzuzufügen und zu konfigurieren, ist die Verwendung der Seite VPC-Subnetzliste in der Amazon-EMR-Konsole. Informationen zum Konfigurieren von NAT-Gateways finden Sie unter NAT-Gateways im Amazon-VPC-Benutzerhandbuch.

• Sie können ein Subnetz mit einem vorhandenen Amazon-EMR-Cluster nicht von öffentlich in privat oder umgekehrt ändern. Um ein Amazon-EMR-Cluster in einem privaten Subnetz zu finden, muss der Cluster in diesem privaten Subnetz gestartet werden.

Amazon EMR erstellt und verwendet verschiedene Standardsicherheitsgruppen für die Cluster in einem privaten Subnetz: ElasticMapReduce -Master-Private, ElasticMapReduce -Slave-Private und -. ElasticMapReduce ServiceAccess Weitere Informationen finden Sie unter Steuerung des Netzwerkverkehrs mit Sicherheitsgruppen.

Um eine vollständige Liste der NACLs Ihres Clusters zu erhalten, wählen Sie Sicherheitsgruppen für Primär- und Sicherheitsgruppen für Core und Aufgaben auf der Seite Cluster-Details der Amazon-EMR-Konsole.

Die folgende Abbildung zeigt, wie ein Amazon-EMR-Cluster in einem privaten Subnetz konfiguriert wird. Die einzige Kommunikation außerhalb des Subnetzes erfolgt mit Amazon EMR.

In der folgenden Abbildung ist eine Beispielkonfiguration für einen Amazon-EMR-Cluster in einem privaten Subnetz dargestellt, das mit einer NAT-Instance in einem öffentlichen Subnetz verbunden ist.

Gemeinsam genutzte Subnetze

Mit VPC Sharing können Kunden Subnetze mit anderen AWS Konten innerhalb derselben AWS Organisation gemeinsam nutzen. Sie können Amazon-EMR-Cluster sowohl in öffentlichen als auch privaten gemeinsamen Subnetzen starten, wobei folgende Einschränkungen gelten.

Der Subnetzbesitzer muss ein Subnetz für Sie freigeben, bevor Sie ein Amazon-EMR-Cluster darin starten können. Die Freigabe für gemeinsame Subnetze kann jedoch zu einem späteren Zeitpunkt wieder aufgehoben werden. Weitere Informationen finden Sie unter Arbeiten mit freigegebenen VPCs. Wenn ein Cluster in einem gemeinsamen Subnetz gestartet wird und die Freigabe für dieses gemeinsame Subnetz dann aufgehoben wird, lassen sich bei Aufhebung der Freigabe des Subnetzes je nach Status des Amazon-EMR-Clusters bestimmte Verhaltensweisen beobachten.

• Die Freigabe des Subnetzes wird vor dem erfolgreichen Start des Clusters aufgehoben – Wenn der Besitzer die Freigabe der Amazon VPC oder des Subnetzes aufhebt, während der Teilnehmer ein Cluster startet, kann das Cluster nicht gestartet werden oder wird nur teilweise initialisiert, ohne alle angeforderten Instances bereitzustellen.

• Die Freigabe des Subnetzes wird nach dem erfolgreichen Start des Clusters aufgehoben – Wenn der Besitzer die Freigabe einer Amazon VPC oder eines Subnetzes für den Teilnehmer aufhebt, sind die Cluster des Teilnehmers nicht in der Lage, ihre Größe anzupassen, um neue Instances hinzuzufügen oder fehlerhafte Instances zu ersetzen.

Wenn Sie ein Amazon-EMR-Cluster starten, werden mehrere Sicherheitsgruppen erstellt. In einem gemeinsamen Subnetz steuert der Subnetzteilnehmer diese Sicherheitsgruppen. Der Subnetzbesitzer kann diese Sicherheitsgruppen zwar anzeigen, jedoch keine Aktionen bei diesen durchführen. Wenn der Subnetzbesitzer die Sicherheitsgruppe entfernen oder ändern möchte, muss der Teilnehmer, der die Sicherheitsgruppe erstellt hat, die Aktion durchführen.

VPC-Berechtigungen mit IAM steuern

Standardmäßig können alle -Benutzer sämtliche Subnetze für das Konto sehen einen Cluster in einem Subnetz starten.

Wenn Sie einen Cluster in einer VPC starten, können Sie AWS Identity and Access Management (IAM) verwenden, um den Zugriff auf Cluster zu kontrollieren und Aktionen mithilfe von Richtlinien einzuschränken, genau wie bei Clustern, die in Amazon EC2 Classic gestartet werden. Weitere Informationen zu IAM finden Sie im IAM-Benutzerhandbuch.

Sie können auch IAM verwenden, um zu kontrollieren, wer Subnetze erstellen und verwalten kann. Sie können beispielsweise eine IAM-Rolle zur Verwaltung von Subnetzen und eine zweite Rolle erstellen, die Cluster starten, aber die Amazon VPC-Einstellungen nicht ändern kann. Weitere Informationen zur Verwaltung von Richtlinien und Aktionen in Amazon EC2 und Amazon VPC finden Sie unter IAM-Richtlinien für Amazon EC2 im Amazon EC2 EC2-Benutzerhandbuch.