Sicherheit bei Amazon EMR

Sicherheit und Compliance sind eine Verantwortung, mit der Sie sich teilen AWS. Dieses Modell der gemeinsamen Verantwortung kann dazu beitragen, Ihre betrieblichen Belastungen zu verringern, da AWS betreibt, verwaltet und steuert die Komponenten vom Host-Betriebssystem und der Virtualisierungsebene bis hin zur physischen Sicherheit der Einrichtungen, in denen EMR Cluster betrieben werden. Sie übernehmen die Verantwortung, Verwaltung und Aktualisierung von EMR Amazon-Clustern sowie die Konfiguration der Anwendungssoftware und AWS hat Sicherheitskontrollen bereitgestellt. Diese Differenzierung der Verantwortung wird allgemein als Sicherheit in der Cloud und Sicherheit in der Cloud bezeichnet.

• Sicherheit der Cloud — AWS ist verantwortlich für den Schutz der Infrastruktur, die läuft AWS-Services in AWS. AWS bietet Ihnen auch Dienste, die Sie sicher nutzen können. Externe Prüfer testen und verifizieren regelmäßig die Wirksamkeit unserer Sicherheit im Rahmen der AWS Compliance-Programme. Weitere Informationen zu den Compliance-Programmen, die für Amazon geltenEMR, finden Sie unter AWS-Services im Geltungsbereich des Compliance-Programms.

• Sicherheit in der Cloud — Sie sind auch dafür verantwortlich, alle erforderlichen Sicherheitskonfigurations- und Verwaltungsaufgaben zur Sicherung eines EMR Amazon-Clusters durchzuführen. Kunden, die einen EMR Amazon-Cluster bereitstellen, sind verantwortlich für die Verwaltung der auf den Instances installierten Anwendungssoftware und die Konfiguration der AWS-bereitgestellte Funktionen wie Sicherheitsgruppen, Verschlüsselung und Zugriffskontrolle gemäß Ihren Anforderungen, geltenden Gesetzen und Vorschriften.

Diese Dokumentation hilft Ihnen zu verstehen, wie Sie das Modell der gemeinsamen Verantwortung bei der Nutzung von Amazon anwenden könnenEMR. Die Themen in diesem Kapitel zeigen Ihnen, wie Sie Amazon konfigurieren EMR und andere verwenden AWS-Services um Ihre Sicherheits- und Compliance-Ziele zu erreichen.

Netzwerk- und Infrastruktursicherheit

Als verwalteter Service EMR ist Amazon geschützt durch die AWS Verfahren zur globalen Netzwerksicherheit, die im Whitepaper Amazon Web Services: Sicherheitsprozesse im Überblick beschrieben werden. AWS Dienste zum Schutz von Netzwerken und Infrastrukturen bieten Ihnen differenzierten Schutz sowohl auf Host- als auch auf Netzwerkebene. Amazon EMR unterstützt AWS-Services und Anwendungsfunktionen, die Ihren Netzwerkschutz- und Compliance-Anforderungen entsprechen.

• EC2Amazon-Sicherheitsgruppen fungieren als virtuelle Firewall für EMR Amazon-Cluster-Instances und begrenzen den eingehenden und ausgehenden Netzwerkverkehr. Weitere Informationen finden Sie unter Steuern des Netzwerkverkehrs mit Sicherheitsgruppen.

• Amazon EMR Block Public Access (BPA) verhindert, dass Sie einen Cluster in einem öffentlichen Subnetz starten, wenn der Cluster über eine Sicherheitskonfiguration verfügt, die eingehenden Datenverkehr von öffentlichen IP-Adressen an einem Port zulässt. Weitere Informationen finden Sie unter Verwenden von Amazon, um den öffentlichen Zugriff zu EMR blockieren.

• Secure Shell (SSH) bietet Benutzern eine sichere Möglichkeit, eine Verbindung zur Befehlszeile auf Cluster-Instances herzustellen. Sie können SSH damit auch Weboberflächen anzeigen, die Anwendungen auf dem Master-Knoten eines Clusters hosten. Weitere Informationen finden Sie unter Verwenden eines EC2 key pair für SSH Anmeldeinformationen und Connect zu einem Cluster herstellen.

Updates für das standardmäßige Amazon Linux AMI für Amazon EMR

Wichtig

EMRCluster, auf denen Amazon Linux oder Amazon Linux 2 Amazon Machine Images (AMIs) ausgeführt werden, verwenden das Standardverhalten von Amazon Linux und laden wichtige und kritische Kernel-Updates, die einen Neustart erfordern, nicht automatisch herunter und installieren sie. Dies ist dasselbe Verhalten wie bei anderen EC2 Amazon-Instances, auf denen das standardmäßige Amazon Linux ausgeführt wirdAMI. Wenn neue Amazon Linux-Softwareupdates, die einen Neustart erfordern (wie Kernel und CUDA Updates)NVIDIA, verfügbar werden, nachdem eine EMR Amazon-Version verfügbar wird, laden EMR Cluster-Instances, die standardmäßig ausgeführt werden, diese Updates AMI nicht automatisch herunter und installieren sie. Um Kernel-Updates zu erhalten, können Sie Ihr Amazon so anpassen EMR AMI, dass es das neueste Amazon Linux verwendet AMI.

Abhängig von der Sicherheit Ihrer Anwendung und der Dauer der Ausführung eines Clusters können Sie wählen, ob Sie Ihr Cluster regelmäßig neu starten, um Sicherheitsupdates anzuwenden, oder ob Sie eine Bootstrap-Aktion zum Anpassen von Paketinstallation und Updates erstellen. Sie können außerdem Sicherheitsupdates erst testen und dann auf ausgeführten Cluster-Instances installieren. Weitere Informationen finden Sie unter Verwenden des standardmäßigen Amazon Linux AMI für Amazon EMR. Beachten Sie, dass Ihre Netzwerkkonfiguration Linux-Repositorys in Amazon S3 zulassen HTTP und HTTPS zu diesen gelangen muss, da andernfalls Sicherheitsupdates nicht erfolgreich sein werden.

AWS Identity and Access Management mit Amazon EMR

AWS Identity and Access Management (IAM) ist ein AWS Dienst, der einem Administrator hilft, den Zugriff auf sicher zu kontrollieren AWS Ressourcen schätzen. IAMAdministratoren kontrollieren, wer authentifiziert (angemeldet) und autorisiert werden kann (über Berechtigungen verfügt), um EMR Amazon-Ressourcen zu nutzen. IAMZu den Identitäten gehören Benutzer, Gruppen und Rollen. Eine IAM Rolle ähnelt einem IAM Benutzer, ist jedoch keiner bestimmten Person zugeordnet und soll von jedem Benutzer übernommen werden können, der Berechtigungen benötigt. Weitere Informationen finden Sie unter AWS Identity and Access Management für Amazon EMR. Amazon EMR verwendet mehrere IAM Rollen, um Sie bei der Implementierung von Zugriffskontrollen für EMR Amazon-Cluster zu unterstützen. IAMist ein AWS Service, den Sie ohne zusätzliche Kosten nutzen können.

• IAMRolle für Amazon EMR (EMRRolle) — steuert, wie der EMR Amazon-Service auf andere zugreifen kann AWS-Services in Ihrem Namen, z. B. durch die Bereitstellung von EC2 Amazon-Instances beim Start des EMR Amazon-Clusters. Weitere Informationen finden Sie unter IAM Servicerollen für EMR Amazon-Berechtigungen konfigurieren für AWS-Services und Ressourcen.

• IAMRolle für EC2 Cluster-Instances (EC2Instance-Profil) — eine Rolle, die jeder EC2 Instance im EMR Amazon-Cluster zugewiesen wird, wenn die Instance gestartet wird. Anwendungsprozesse, die auf dem Cluster ausgeführt werden, verwenden diese Rolle, um mit anderen zu interagieren AWS-Services, wie Amazon S3. Weitere Informationen finden Sie unter IAMRolle für EC2 Cluster-Instances.

• IAMRolle für Anwendungen (Runtime-Rolle) — eine IAM Rolle, die Sie angeben können, wenn Sie einen Job oder eine Anfrage an einen EMR Amazon-Cluster senden. Der Job oder die Abfrage, die Sie an Ihren EMR Amazon-Cluster senden, verwendet die Runtime-Rolle für den Zugriff AWS Ressourcen, wie Objekte in Amazon S3. Sie können Runtime-Rollen bei Amazon EMR für Spark- und Hive-Jobs angeben. Mithilfe von Runtime-Rollen können Sie Jobs, die auf demselben Cluster ausgeführt werden, mithilfe verschiedener IAM Rollen isolieren. Weitere Informationen finden Sie unter IAMRolle als Runtime-Rolle bei Amazon verwenden EMR.

Personalidentitäten beziehen sich auf Benutzer, die Workloads erstellen oder verwalten in AWS. Amazon EMR bietet folgenden Support für Personalidentitäten:

• AWS IAMIdentity Center (Idc) wird empfohlen AWS-Service für die Verwaltung des Benutzerzugriffs auf AWS Ressourcen schätzen. Es ist ein zentraler Ort, an dem Sie Ihren Mitarbeitern Identitäten zuweisen können, sodass Sie konsistent auf mehrere zugreifen können AWS Konten und Anwendungen. Amazon EMR unterstützt die Identitäten von Mitarbeitern durch vertrauenswürdige Weitergabe von Identitäten. Mit der Funktion zur Weitergabe vertrauenswürdiger Identitäten kann sich ein Benutzer bei der Anwendung anmelden und diese Anwendung kann die Identität des Benutzers an andere weitergeben AWS-Services zur Autorisierung des Zugriffs auf Daten oder Ressourcen. Weitere Informationen finden Sie unter Unterstützung aktivieren für AWS IAMIdentitätszentrum mit Amazon EMR.

  Das Lightweight Directory Access Protocol (LDAP) ist ein offenes, herstellerneutrales, branchenübliches Anwendungsprotokoll für den Zugriff auf und die Verwaltung von Informationen über Benutzer, Systeme, Dienste und Anwendungen über das Netzwerk. LDAPwird häufig für die Benutzerauthentifizierung gegenüber Unternehmensidentitätsservern wie Active Directory (AD) und Open verwendet. LDAP Durch die Aktivierung LDAP mit EMR Clustern ermöglichen Sie es Benutzern, ihre vorhandenen Anmeldeinformationen für die Authentifizierung und den Zugriff auf Cluster zu verwenden. Weitere Informationen finden Sie unter Support für LDAP mit Amazon aktivieren EMR.

  Kerberos ist ein Netzwerkauthentifizierungsprotokoll, das entwickelt wurde, um mithilfe von Secret-Key-Kryptografie eine starke Authentifizierung für Client-/Serveranwendungen zu ermöglichen. Wenn Sie Kerberos verwenden, EMR konfiguriert Amazon Kerberos für die Anwendungen, Komponenten und Subsysteme, die es auf dem Cluster installiert, sodass sie sich gegenseitig authentifizieren. Um auf einen Cluster mit konfiguriertem Kerberos zuzugreifen, muss ein Kerberos-Prinzipal im Kerberos-Domänencontroller () vorhanden sein. KDC Weitere Informationen finden Sie unter Unterstützung für Kerberos bei Amazon aktivieren. EMR

Cluster mit einem Mandanten und mehreren Mandanten

Ein Cluster ist standardmäßig für einen einzelnen Mandanten mit dem EC2 Instanzprofil als Identität konfiguriert. IAM In einem Single-Tenant-Cluster hat jeder Job vollen und vollständigen Zugriff auf den Cluster und Zugriff auf alle AWS-Services und die Ressourcen werden auf der Grundlage des EC2 Instanzprofils ausgeführt. In einem Multi-Tenant-Cluster sind die Mandanten voneinander isoliert und die Mandanten haben keinen vollen und vollständigen Zugriff auf die Cluster und EC2 Instanzen des Clusters. Bei Clustern mit mehreren Mandanten werden entweder die Runtime-Rollen oder die Belegschaft identifiziert. In einem Multi-Tenant-Cluster können Sie auch die Unterstützung für eine differenzierte Zugriffskontrolle () aktivieren FGAC AWS Lake Formation oder Apache Ranger. Bei einem Cluster, der über Runtime-Rollen verfügt oder der Zugriff auf das Instanzprofil FGAC aktiviert ist, ist der Zugriff auf das EC2 Instanzprofil ebenfalls über iptables deaktiviert.

Wichtig

Jeder Benutzer, der Zugriff auf einen Single-Tenant-Cluster hat, kann jede Software auf dem Linux-Betriebssystem (OS) installieren, von Amazon installierte Softwarekomponenten ändern oder entfernen EMR und sich auf die EC2 Instances auswirken, die Teil des Clusters sind. Wenn Sie sicherstellen möchten, dass Benutzer keine Konfigurationen eines EMR Amazon-Clusters installieren oder ändern können, empfehlen wir Ihnen, Multi-Tenancy für den Cluster zu aktivieren. Sie können Multi-Tenancy auf einem Cluster aktivieren, indem Sie die Unterstützung für Runtime-Rollen aktivieren. AWS IAMIdentity Center, Kerberos oder. LDAP

Datenschutz

Mit AWS, kontrollieren Sie Ihre Daten, indem Sie AWS-Services und Tools, mit denen Sie feststellen können, wie die Daten gesichert sind und wer Zugriff darauf hat. Dienste wie AWS Identity and Access Management (IAM) ermöglichen es Ihnen, den Zugriff auf sicher zu verwalten AWS-Services und Ressourcen. AWS CloudTrail ermöglicht Erkennung und Prüfung. Amazon EMR macht es Ihnen leicht, Daten im Ruhezustand in Amazon S3 zu verschlüsseln, indem Sie Schlüssel verwenden, die entweder verwaltet werden von AWS oder vollständig von Ihnen verwaltet. Amazon unterstützt EMR auch die Aktivierung der Verschlüsselung für Daten während der Übertragung. Weitere Informationen finden Sie unter Verschlüsseln von Daten im Ruhezustand und bei der Übertragung.

Datenzugriffskontrolle

Mit der Datenzugriffskontrolle können Sie steuern, auf welche Daten eine IAM Identität oder eine Mitarbeiteridentität zugreifen kann. Amazon EMR unterstützt die folgenden Zugriffskontrollen:

• IAMidentitätsbasierte Richtlinien — verwalten Sie Berechtigungen für IAM Rollen, die Sie bei Amazon verwenden. EMR IAMRichtlinien können mit Tagging kombiniert werden, um den Zugriff auf einer bestimmten Basis zu kontrollieren. cluster-by-cluster Weitere Informationen finden Sie unter AWS Identity and Access Management für Amazon EMR.

• AWS Lake Formationzentralisiert die Rechteverwaltung Ihrer Daten und erleichtert die gemeinsame Nutzung innerhalb Ihrer Organisation und extern. Sie können Lake Formation verwenden, um einen detaillierten Zugriff auf Spaltenebene auf Datenbanken und Tabellen in der AWS Datenkatalog Glue. Weitere Informationen finden Sie unter Verwenden AWS Lake Formation mit Amazon EMR.

• Amazon S3 S3-Zugriff gewährt Kartenidentitäten, Zuordnungsidentitäten in Verzeichnissen wie Active Directory, oder AWS Identity and Access Management (IAM) Prinzipale für Datensätze in S3. Darüber hinaus ermöglicht der S3-Zugriff die Protokollierung der Identität des Endbenutzers und der Anwendung, die für den Zugriff auf S3-Daten verwendet wird AWS CloudTrail. Weitere Informationen finden Sie unter Verwenden von Amazon S3 S3-Zugriffsberechtigungen mit Amazon EMR.

• Apache Ranger ist ein Framework zur Aktivierung, Überwachung und Verwaltung einer umfassenden Datensicherheit auf der gesamten Hadoop-Plattform. Amazon EMR unterstützt eine auf Apache Ranger basierende, feinkörnige Zugriffskontrolle für Apache Hive Metastore und Amazon S3. Weitere Informationen finden Sie unter Integrieren von Apache Ranger mit Amazon EMR.