Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Überlegungen und Einschränkungen bei der Verwendung des Spark-Connectors
-
Wir empfehlen, Ihnen SSL für die JDBC-Verbindung von Spark auf Amazon EMR zu Amazon Redshift zu aktivieren.
-
Als bewährte Methode empfehlen wir Ihnen, die Anmeldeinformationen für den Amazon-Redshift-Cluster in AWS Secrets Manager zu verwalten. Ein Beispiel finden Sie unter Verwenden von AWS Secrets Manager zum Abrufen von Anmeldeinformationen für die Verbindung mit Amazon Redshift.
-
Wir empfehlen, dass Sie eine IAM-Rolle mit dem Parameter
aws_iam_role
für den Amazon-Redshift-Authentifizierungsparameter zu übergeben. -
Derzeit wird das Parquet-Format vom Parameter
tempformat
nicht unterstützt. -
Die
tempdir
-URI verweist auf einen Amazon-S3-Speicherort. Dieses temporäre Verzeichnis wird nicht automatisch bereinigt und kann zusätzliche Kosten verursachen. -
Beachten Sie die folgenden Empfehlungen für Amazon Redshift:
-
Wir empfehlen, den öffentlichen Zugriff auf den Amazon-Redshift-Cluster zu blockieren.
-
Wir empfehlen, die Amazon-Redshift-Auditprotokollierung zu aktivieren.
-
Wir empfehlen, die Amazon-Redshift-Verschlüsselung im Ruhezustand zu aktivieren.
-
-
Beachten Sie die folgenden Empfehlungen für Amazon S3:
-
Wir empfehlen, den öffentlichen Zugriff auf Amazon-S3-Buckets zu blockieren.
-
Wir empfehlen die Verwendung der serverseitigen Amazon-S3-Verschlüsselung, um die verwendeten S3-Buckets zu verschlüsseln.
-
Wir empfehlen, die Lebenszyklusrichtlinien für Amazon S3 zu verwenden, um die Aufbewahrungsregeln für den S3-Bucket zu definieren.
-
Amazon EMR überprüft immer Code, der aus Open Source in das Image importiert wurde. Aus Sicherheitsgründen unterstützen wir die Verschlüsselung von AWS-Zugriffsschlüsseln in der
tempdir
-URI nicht als Authentifizierungsmethode von Spark zu Amazon S3.
-
Weitere Informationen zum Verwenden des Konnekctors und seiner unterstützten Parameter finden Sie in den folgenden Ressourcen:
-
Amazon-Redshift-Integration für Apache Spark im Amazon-Redshift-Verwaltungshandbuch
-
Das
spark-redshift
-Community-Repositoryauf Github