Voraussetzungen für die Verwendung der Datenbank als Quelle

Anmerkung

Firehose unterstützt Datenbanken als Quelle in allen Regionen AWS-Regionenaußer China und Asien-Pazifik (Malaysia). AWS GovCloud (US) Regions Diese Funktion befindet sich in der Vorschauversion und kann sich ändern. Verwenden Sie es nicht für Ihre Produktionsworkloads.

Bevor Sie beginnen, müssen Sie die folgenden Voraussetzungen erfüllen.

• Quelldatenbankkonfigurationen — Sie benötigen die folgenden Quelldatenbankkonfigurationen, bevor Sie die Datenbank als Quelle für Ihren Firehose-Stream verwenden können.

  • Erstellen Sie eine Snapshot-Wasserzeichentabelle mit den richtigen Berechtigungen — Für die erste Kopie (Snapshot) der Daten in den Tabellen verwendet Firehose einen inkrementellen Kopieransatz mit Wasserzeichen, um den Fortschritt zu verfolgen. Dieser Ansatz des inkrementellen Kopierens hilft dabei, den Kopiervorgang an der Stelle fortzusetzen, an der er unterbrochen wurde, und die Tabelle dann erneut zu erfassen, falls es zu Unterbrechungen kommen sollte. Firehose verwendet eine Wasserzeichentabelle in Ihrer Datenbank, um die erforderlichen Wasserzeichen zu speichern. Firehose benötigt eine Wasserzeichentabelle pro Firehose-Stream. Wenn die Tabelle nicht bereits vor der Erstellung des Firehose-Streams erstellt wurde, erstellt Firehose diese Tabelle als Teil der Stream-Erstellung. Sie müssen Firehose die richtigen Berechtigungen zur Verfügung stellen, um diese Tabelle zu erstellen.

  • Datenbankbenutzer erstellen — Firehose benötigt ein Datenbankbenutzerkonto mit den entsprechenden Berechtigungen, um die erste Kopie von Tabellen zu erstellen, CDC-Ereignisse aus den Transaktionsprotokollen zu lesen, auf die Wasserzeichentabelle zuzugreifen und eine Wasserzeichentabelle zu erstellen, falls sie noch nicht erstellt wurde. Sie verwenden diesen Datenbank-Benutzernamen und das Passwort als Teil der Firehose-Anmeldeinformationen, um während der Stream-Setup eine Verbindung zu Ihrer Datenbank herzustellen.

  • Transaktionsprotokolle aktivieren — Die Transaktionsprotokolle zeichnen alle Datenbankänderungen wie INSERT, UPDATE und DELETE in der Reihenfolge auf, in der sie in die Datenbank übernommen wurden. Firehose liest die Transaktionsprotokolle und repliziert die Änderungen in Apache Iceberg Tables. Sie müssen die Transaktionsprotokolle aktivieren, falls sie nicht aktiviert sind.

  • Regel für eingehenden und ausgehenden Datenverkehr hinzufügen — Um private Verbindungen zu Datenbanken zu ermöglichen, müssen Sie der Sicherheitsgruppe Ihrer Datenbank-VPC eine eingehende Regel und eine ausgehende Regel für HTTPS-Verkehr und eine eingehende Regel für Datenbankverkehr (MySQL oder PostgreSQL) hinzufügen. Verwenden Sie für die Quellspalte den IPv4 CIDR-Bereich Ihrer VPC.

  Gehen Sie wie folgt vor, um eine Wasserzeichentabelle und einen Datenbankbenutzer zu erstellen und Transaktionsprotokolle zu aktivieren. Richten Sie Datenbankkonnektivität ein

• Aktivieren Sie private Konnektivität zu Datenbanken — Firehose unterstützt mithilfe AWS PrivateLink von Technologie die Verbindung zu Datenbanken innerhalb von VPC. Informationen zur Aktivierung privater Verbindungen zu Datenbanken finden Sie unter VPCs Verwenden AWS PrivateLink und Network Load Balancer auf Amazon RDS zugreifen. Hier sind einige Punkte, die Sie beim Herstellen einer Verbindung zu Datenbanken beachten sollten.

  • Diese Schritte gelten auch für Datenbanken, die auf laufen EC2.

  • Sie müssen das Timeout der in diesem Beispiel verwendeten Lambda-Funktion von standardmäßig 3 Sekunden auf 5 Minuten erhöhen.

  • Bevor Sie die Lambda-Funktion ausführen, um die IP-Adresse der primären Instanz für den Network Load Balancer zu aktualisieren, müssen Sie einen VPC-Endpunkt mit dem AWS Dienstnamen wie com.amazonaws.us-east-1.elasticloadbalancing in Ihrer Datenbank-VPC erstellen, damit Lambda mit dem Elastic Load Balancing Balancing-Dienst kommunizieren kann.

  • Sie müssen Firehose Service Principal firehose.amazonaws.com zum Erstellen AWS PrivateLink auf Ihrer VPC zulassen. Weitere Informationen finden Sie unter Berechtigungen verwalten. Fügen Sie den ARN dieser Servicerolle nicht hinzu. Nur firehose.amazonaws.com zu den erlaubten Prinzipalen hinzufügen.

  • Sie müssen Ihrem Endpunkt-Service erlauben, Verbindungsanfragen automatisch anzunehmen, indem Sie sicherstellen, dass Sie die Option Acceptance Required über Amazon VPC deaktivieren. Auf diese Weise kann Firehose die erforderliche Endpunktverbindung ohne manuelles Eingreifen herstellen. Weitere Informationen zum Deaktivieren von Verbindungsanfragen finden Sie unter Verbindungsanfragen annehmen oder ablehnen.

• Anmeldeinformationen speichern in AWS Secrets Manager — Firehose verwendet AWS Secrets Manager , um Anmeldeinformationen abzurufen, die für die Verbindung zu Datenbanken verwendet werden. Fügen Sie die Datenbank-Benutzeranmeldedaten, die Sie in der vorherigen Voraussetzung erstellt haben, als Schlüssel in der AWS Secrets Manager hinzu. Weitere Informationen finden Sie unter Authentifizieren mit AWS Secrets Manager in Amazon Data Firehose.

• Erstellen Sie eine IAM-Rolle mit den erforderlichen Berechtigungen — Firehose benötigt eine IAM-Rolle mit spezifischen Berechtigungen für den Zugriff auf AWS Secrets Manager AWS Glue Tabellen und das Schreiben von Daten in Amazon S3. Dieselbe Rolle wird verwendet, um AWS Glue Zugriff auf Amazon S3 S3-Buckets zu gewähren. Sie benötigen diese IAM-Rolle, wenn Sie Apache Iceberg-Tabellen und eine Firehose erstellen. Weitere Informationen finden Sie unter Gewähren Sie Firehose Zugriff, um Datenbankänderungen auf Apache Iceberg Tables zu replizieren.

• Apache Iceberg-Tabellen erstellen — Firehose kann automatisch Iceberg-Tabellen erstellen, wenn Sie die Einstellung während der Firehose-Stream-Erstellung aktivieren. Wenn Sie nicht möchten, dass Firehose Iceberg-Tabellen erstellt, müssen Sie Iceberg-Tabellen mit demselben Namen und Schema wie die Quelldatenbanktabellen erstellen. Weitere Informationen zum Erstellen von Iceberg-Tabellen mit Glue finden Sie unter Creating Iceberg Tables.

  Anmerkung

  Sie müssen Apache Iceberg-Tabellen mit der folgenden Zuordnung erstellen.

  • Bei MySQL wird der Name der Quelldatenbank dem AWS Glue Datenbanknamen und der Quelltabellenname dem AWS Glue Tabellennamen zugeordnet.

  • Bei PostgreSQL werden der Name der Quelldatenbank der AWS Glue Datenbank und der Quellschemaname und der Tabellenname dem Tabellennamen im <SchemaName>_<TableName> Format AWS Glue Tabellenname zugeordnet. Wenn Sie selbst eine Tabelle erstellen, sollten das Quell- und das Zielschema exakt übereinstimmen.