Verschlüsseln von Daten, die von AWS Glue geschrieben werden

Eine Sicherheitskonfiguration ist eine Reihe von Sicherheitseigenschaften, die von AWS Glue verwendet werden können. Sie können eine Sicherheitskonfiguration verwenden, um Daten im Ruhezustand zu verschlüsseln. Die folgenden Szenarien zeigen einige der Möglichkeiten, wie Sie eine Sicherheitskonfiguration verwenden können.

• Hängen Sie eine Sicherheitskonfiguration an einen AWS Glue Crawler an, um verschlüsselte CloudWatch Amazon-Logs zu schreiben. Weitere Informationen zum Anhängen von Sicherheitskonfigurationen an Crawler finden Sie unter. Schritt 3: Konfigurieren der Sicherheitseinstellungen

• Hängen Sie eine Sicherheitskonfiguration an einen ETL-Job (Extrahieren, Transformieren und Laden) an, um verschlüsselte Amazon Simple Storage Service (Amazon S3) -Ziele und verschlüsselte CloudWatch Protokolle zu schreiben.

• Fügen Sie eine Sicherheitskonfiguration an einen ETL-Auftrag an, um seine Auftragslesezeichen als verschlüsselte Amazon-S3-Daten zu schreiben.

• Fügen Sie eine Sicherheitskonfiguration an einen Entwicklungsendpunkt an, um verschlüsselte Amazon-S3-Ziele zu schreiben.

Wichtig

Derzeit überschreibt eine Sicherheitskonfiguration jede serverseitige Verschlüsselungseinstellung (SSE-S3), die als ETL-Auftragsparameter übergeben wird. Wenn also sowohl eine Sicherheitskonfiguration als auch ein SSE-S3-Parameter einem Auftrag zugeordnet sind, wird der SSE-S3-Parameter ignoriert.

Weitere Informationen zu den Sicherheitskonfigurationen finden Sie unter Sicherheitskonfigurationen auf der AWS Glue Konsole verwalten.

Themen

• Einrichten von AWS Glue zur Verwendung der Sicherheitskonfigurationen

• Eine Route AWS KMS für VPC-Jobs und Crawler erstellen

• Sicherheitskonfigurationen auf der AWS Glue Konsole verwalten

Einrichten von AWS Glue zur Verwendung der Sicherheitskonfigurationen

Führen Sie diese Schritte aus, um Ihre AWS Glue-Umgebung für die Verwendung von Sicherheitskonfigurationen einzurichten.

1. Erstellen oder aktualisieren Sie Ihre AWS Key Management Service (AWS KMS) -Schlüssel, um den IAM-Rollen AWS KMS Berechtigungen zu gewähren, die an AWS Glue Crawler und Jobs zur Verschlüsselung CloudWatch von Protokollen weitergegeben werden. Weitere Informationen finden Sie unter Verschlüsseln von Protokolldaten in CloudWatch Logs Using AWS KMS im Amazon CloudWatch Logs-Benutzerhandbuch.

   Im folgenden Beispiel "role3" sind"role1", und IAM-Rollen"role2", die an Crawler und Jobs übergeben werden.

   {
          "Effect": "Allow",
          "Principal": { "Service": "logs.region.amazonaws.com",
          "AWS": [
                   "role1",
                   "role2",
                   "role3"
                ] },
                       "Action": [
                              "kms:Encrypt*",
                              "kms:Decrypt*",
                              "kms:ReEncrypt*",
                              "kms:GenerateDataKey*",
                              "kms:Describe*"
                       ],
                       "Resource": "*"
   }

   Die Service Anweisung, dargestellt als, ist erforderlich"Service": "logs.region.amazonaws.com", wenn Sie den Schlüssel zum Verschlüsseln CloudWatch von Protokollen verwenden.

2. Stellen Sie sicher, dass der AWS KMS Schlüssel vorhanden ist, ENABLED bevor er verwendet wird.

Anmerkung

Wenn Sie Iceberg als Ihr Data Lake Framework verwenden, verfügen die Iceberg-Tabellen über eigene Verfahren, die serverseitige Verschlüsselung ermöglichen. Sie sollten diese Konfiguration zusätzlich zu den AWS Glue Sicherheitskonfigurationen aktivieren. Um die serverseitige Verschlüsselung für Iceberg-Tabellen zu aktivieren, lesen Sie die Anleitung in der Iceberg-Dokumentation.

Eine Route AWS KMS für VPC-Jobs und Crawler erstellen

Sie können sich direkt mit AWS KMS über einen privaten Endpunkt in Ihrer Virtual Private Cloud (VPC) verbinden, anstatt sich über das Internet zu verbinden. Wenn Sie einen VPC-Endpunkt verwenden, AWS KMS erfolgt die Kommunikation zwischen Ihrer VPC und dem vollständig innerhalb des AWS Netzwerks.

Sie können einen AWS KMS VPC-Endpunkt innerhalb einer VPC erstellen. Ohne diesen Schritt können Ihre Aufträge oder Crawler mit einem kms timeout auf Aufträgen oder internal service exception auf Crawlern fehlschlagen. Ausführliche Anweisungen finden Sie unter Herstellen einer AWS KMS Verbindung zu einem VPC-Endpunkt im AWS Key Management Service Entwicklerhandbuch.

Wenn Sie diese Anweisungen befolgen, müssen Sie auf der VPC-Konsole Folgendes tun:

• Wählen Sie Enable Private DNS name (Privaten DNS-Namen aktivieren) aus.

• Wählen Sie die Security group (Sicherheitsgruppe) (mit selbstreferenzierender Regel), die Sie für Ihren Auftrag oder Crawler verwenden, der auf die Java Database Connectivity (JDBC) zugreift. Weitere Informationen zu AWS Glue-Verbindungen finden Sie unter Herstellen einer Verbindung zu Daten.

Wenn Sie einem Crawler oder Job, der auf JDBC-Datenspeicher zugreift, eine Sicherheitskonfiguration hinzufügen, AWS Glue muss eine Route zum Endpunkt vorhanden sein. AWS KMS Sie können die Route mit einem NAT-Gateway (Network Address Translation) oder mit einem AWS KMS VPC-Endpunkt bereitstellen. Informationen zum Erstellen eines NAT-Gateways finden Sie unter NAT-Gateways im Amazon-VPC-Benutzerhandbuch.