Datenschutz

Das Modell der AWS gemeinsamen Verantwortung gilt für den Datenschutz in Amazon EMR Serverless. Wie in diesem Modell beschrieben, AWS ist es für den Schutz der globalen Infrastruktur verantwortlich, auf der die gesamte Cloud ausgeführt wird. AWS Sie sind dafür verantwortlich, die Kontrolle über Ihre in dieser Infrastruktur gehosteten Inhalte zu behalten. Dieser Inhalt umfasst die Sicherheitskonfiguration und die Verwaltungsaufgaben für die AWS Dienste, die Sie verwenden. Weitere Informationen zum Datenschutz finden Sie in den häufig gestellten Fragen zum Datenschutz. Informationen zum Datenschutz in Europa finden Sie im AWS Shared Responsibility Model und im DSGVO-Blogbeitrag im AWS Sicherheitsblog.

Aus Datenschutzgründen empfehlen wir Ihnen, Ihre AWS Kontoanmeldeinformationen zu schützen und individuelle Konten mit AWS Identity and Access Management (IAM) einzurichten. So erhält jeder Benutzer nur die Berechtigungen, die zum Durchführen seiner Aufgaben erforderlich sind. Außerdem sollten Sie die Daten mit folgenden Methoden schützen:

• Verwenden Sie für jedes Konto die Multi-Faktor-Authentifizierung (MFA).

• Wird verwendet SSL/TLS , um mit AWS Ressourcen zu kommunizieren. Wir empfehlen TLS 1.2 oder höher.

• Richten Sie die API und die Protokollierung von Benutzeraktivitäten mit ein AWS CloudTrail.

• Verwenden Sie AWS Verschlüsselungslösungen zusammen mit allen Standardsicherheitskontrollen innerhalb der AWS Dienste.

• Verwenden Sie erweiterte verwaltete Sicherheitsservices wie Amazon Macie, die dabei helfen, in Amazon S3 gespeicherte persönliche Daten zu erkennen und zu sichern.

• Verwenden Sie die serverlosen Amazon EMR-Verschlüsselungsoptionen, um Daten im Ruhezustand und bei der Übertragung zu verschlüsseln.

• Wenn Sie für den Zugriff AWS über eine Befehlszeilenschnittstelle oder eine API FIPS 140-2-validierte kryptografische Module benötigen, verwenden Sie einen FIPS-Endpunkt. Weitere Informationen zu den verfügbaren FIPS-Endpunkten finden Sie im Federal Information Processing Standard (FIPS) 140-2.

Wir empfehlen Ihnen dringend, niemals vertrauliche Informationen, wie z. B. die Kontonummern Ihrer Kunden, in Freiformfelder wie das Feld Name einzugeben. Dies gilt auch, wenn Sie mithilfe der Konsole, der API oder der SDKs mit Amazon EMR Serverless oder anderen AWS Diensten arbeiten. AWS CLI AWS Alle Daten, die Sie in Amazon EMR Serverless oder andere Dienste eingeben, werden möglicherweise zur Aufnahme in Diagnoseprotokolle aufgenommen. Wenn Sie eine URL für einen externen Server bereitstellen, schließen Sie keine Anmeldeinformationen zur Validierung Ihrer Anforderung an den betreffenden Server in die URL ein.

Verschlüsselung im Ruhezustand

Die Datenverschlüsselung verhindert, dass nicht autorisierte Benutzer Daten auf einem Cluster und in den dazugehörigen Datenspeichersystemen lesen können. Dies gilt für auf persistenten Medien gespeicherte Daten, auch als Daten im Ruhezustand bezeichnet, und für Daten, die während der Übertragung im Netzwerk möglicherweise abgefangen werden, auch als Daten während der Übertragung bezeichnet.

Die Datenverschlüsselung erfordert Aktivierungsschlüssel und Zertifikate. Sie können aus mehreren Optionen wählen, darunter Schlüssel, die von Amazon S3 verwaltet werden AWS Key Management Service, Schlüssel, die von Amazon S3 verwaltet werden, und Schlüssel und Zertifikate von benutzerdefinierten Anbietern, die Sie bereitstellen. Bei Nutzung AWS KMS als Schlüsselanbieter fallen Gebühren für die Speicherung und Verwendung von Verschlüsselungsschlüsseln an. Weitere Informationen finden Sie unter AWS KMS Preise.

Bevor Sie Verschlüsselungsoptionen angeben, entscheiden Sie sich für die Schlüssel- und Zertifikatsverwaltungssysteme, die Sie verwenden möchten. Erstellen Sie anschließend die Schlüssel und Zertifikate für die benutzerdefinierten Anbieter, die Sie im Rahmen der Verschlüsselungseinstellungen angeben.

Verschlüsselung im Ruhezustand von EMRFS-Daten in Amazon S3

Jede EMR Serverless-Anwendung verwendet eine bestimmte Release-Version, zu der EMRFS (EMR File System) gehört. Die Amazon-S3-Verschlüsselung funktioniert mit EMR File System (EMRFS)-Objekten, die gelesen werden und zu Amazon S3 geschrieben werden. Sie können die serverseitige Amazon S3-Verschlüsselung (SSE) oder die clientseitige Verschlüsselung (CSE) als Standardverschlüsselungsmodus angeben, wenn Sie die Verschlüsselung im Ruhezustand aktivieren. Geben Sie optional verschiedene Verschlüsselungsmethoden für einzelne Buckets an, indem Sie Verschlüsselungsüberschreibungen pro Bucket verwenden. Unabhängig davon, ob Amazon-S3-Verschlüsselung aktiviert ist, verschlüsselt Transport Layer Security (TLS) EMRFS-Objekte bei der Übertragung zwischen EMR-Cluster-Knoten und Amazon S3. Wenn Sie Amazon S3 CSE mit vom Kunden verwalteten Schlüsseln verwenden, muss Ihre Ausführungsrolle, die für die Ausführung von Aufträgen in einer serverlosen EMR-Anwendung verwendet wird, Zugriff auf den Schlüssel haben. Ausführliche Informationen zur Amazon S3-Verschlüsselung finden Sie unter Schützen von Daten mithilfe von Verschlüsselung im Amazon Simple Storage Service Developer Guide.

Anmerkung

Wenn Sie die Verschlüsselungsschlüssel verwenden AWS KMS, fallen Gebühren für die Speicherung und Verwendung von Verschlüsselungsschlüsseln an. Weitere Informationen finden Sie unter AWS KMS Preise.

Serverseitige Verschlüsselung im Amazon S3

Für alle Amazon S3-Buckets ist die Verschlüsselung standardmäßig konfiguriert, und alle neuen Objekte, die in einen S3-Bucket hochgeladen werden, werden im Ruhezustand automatisch verschlüsselt. Amazon S3 verschlüsselt Daten auf Objektebene, während es die Daten auf die Festplatte schreibt, und entschlüsselt die Daten, wenn darauf zugegriffen wird. Weitere Informationen zu SSE finden Sie unter Schützen von Daten mithilfe serverseitiger Verschlüsselung im Amazon Simple Storage Service Developer Guide.

Sie können zwischen zwei verschiedenen Schlüsselverwaltungssystemen wählen, wenn Sie SSE in Amazon EMR Serverless angeben:

• SSE-S3‐ Amazon S3 verwaltet die Schlüssel für Sie. Für EMR Serverless ist kein zusätzliches Setup erforderlich.

• SSE-KMS‐ Sie verwenden eine AWS KMS key zur Einrichtung mit Richtlinien, die für EMR Serverless geeignet sind. Für EMR Serverless ist kein zusätzliches Setup erforderlich.

Tipp

Um die AWS KMS Kosten bei der Nutzung zu senken SSE-KMS, sollten Sie erwägen, Amazon S3 Bucket Keys auf Ihren Amazon S3-Buckets zu aktivieren. Amazon S3 Bucket Keys verwenden einen kurzlebigen Schlüssel auf Bucket-Ebene, um AWS KMS API-Aufrufe um bis zu 99 Prozent zu reduzieren. Bevor Sie Amazon S3 Bucket Keys aktivieren, überprüfen Sie Ihre IAM- und AWS KMS Schlüsselrichtlinien. Der Verschlüsselungskontext wechselt vom Amazon S3-Objekt-ARN zum Bucket-ARN, was sich auf Richtlinien auswirken kann, die den Objekt-ARN für die Zugriffskontrolle verwenden. Weitere Informationen finden Sie unter Reduzierung der Kosten SSE-KMS mit Amazon S3-Bucket Keys im Amazon Simple Storage Service-Benutzerhandbuch.

Um die AWS KMS Verschlüsselung von Daten zu verwenden, die Sie in Amazon S3 schreiben, haben Sie zwei Möglichkeiten, wenn Sie die StartJobRun API verwenden. Sie können entweder die Verschlüsselung für alles aktivieren, was Sie in Amazon S3 schreiben, oder die Verschlüsselung für Daten aktivieren, die Sie in einen bestimmten Bucket schreiben. Weitere Informationen zur StartJobRun API finden Sie in der EMR Serverless API Reference.

Um die AWS KMS Verschlüsselung für alle Daten zu aktivieren, die Sie in Amazon S3 schreiben, verwenden Sie beim Aufrufen der API die StartJobRun folgenden Befehle.

--conf spark.hadoop.fs.s3.enableServerSideEncryption=true 
--conf spark.hadoop.fs.s3.serverSideEncryption.kms.keyId=<kms_id>

Um die AWS KMS Verschlüsselung für Daten zu aktivieren, die Sie in einen bestimmten Bucket schreiben, verwenden Sie beim Aufrufen der StartJobRun API die folgenden Befehle.

--conf spark.hadoop.fs.s3.bucket.<amzn-s3-demo-bucket1>.enableServerSideEncryption=true
--conf spark.hadoop.fs.s3.bucket.<amzn-s3-demo-bucket1>.serverSideEncryption.kms.keyId=<kms-id>

SSE mit vom Kunden bereitgestellten Schlüsseln (SSE-C) ist für die Verwendung mit EMR Serverless nicht verfügbar.

Clientseitige Verschlüsselung für Amazon S3

Bei der clientseitigen Amazon S3-Verschlüsselung erfolgt die Amazon S3-Verschlüsselung und -Entschlüsselung im EMRFS-Client, der in jeder Amazon EMR-Version verfügbar ist. Objekte werden vor dem Hochladen nach Amazon S3 verschlüsselt und nach dem Herunterladen entschlüsselt. Der von Ihnen festgelegte Anbieter stellt den vom Client verwendeten Verschlüsselungsschlüssel bereit. Der Client kann die von AWS KMS (CSE-KMS) bereitgestellten Schlüssel oder eine benutzerdefinierte Java-Klasse verwenden, die den clientseitigen Root-Schlüssel () bereitstellt. CSE-C Die Verschlüsselungsspezifikationen zwischen CSE-KMS und unterscheiden sich geringfügig CSE-C, abhängig vom angegebenen Anbieter und den Metadaten des Objekts, das entschlüsselt oder verschlüsselt wird. Wenn Sie Amazon S3 CSE mit vom Kunden verwalteten Schlüsseln verwenden, muss Ihre Ausführungsrolle, die zur Ausführung von Aufträgen in einer EMR-Serverless-Anwendung verwendet wird, Zugriff auf den Schlüssel haben. Zusätzliche KMS-Gebühren können anfallen. Weitere Informationen zu diesen Unterschieden finden Sie unter Schützen von Daten mithilfe der clientseitigen Verschlüsselung im Amazon Simple Storage Service Developer Guide.

Verschlüsselung lokaler Datenträger

Daten, die im kurzlebigen Speicher gespeichert sind, werden mithilfe eines branchenüblichen kryptografischen Algorithmus mit diensteigenen Schlüsseln verschlüsselt. AES-256

Schlüsselverwaltung

Sie können KMS so konfigurieren, dass Ihre KMS-Schlüssel automatisch rotiert werden. Dadurch werden Ihre Schlüssel einmal im Jahr rotiert, während alte Schlüssel auf unbestimmte Zeit gespeichert werden, sodass Ihre Daten weiterhin entschlüsselt werden können. Weitere Informationen finden Sie unter Rotieren von kundenverwalteten Schlüsseln.

Verschlüsselung während der Übertragung

Die folgenden anwendungsspezifischen Verschlüsselungsfunktionen sind mit Amazon EMR Serverless verfügbar:

• Spark

  • Standardmäßig erfolgt die Kommunikation zwischen Spark-Treibern und Executoren authentifiziert und intern. Die RPC-Kommunikation zwischen Treibern und Executoren ist verschlüsselt.

• Hive

  • Die Kommunikation zwischen dem AWS Glue-Metastore und EMR-Serverless-Anwendungen erfolgt über TLS.

Sie sollten nur verschlüsselte Verbindungen über HTTPS (TLS) zulassen, indem Sie die aws: SecureTransport -Bedingung in den Amazon S3-Bucket-IAM-Richtlinien verwenden.