Migrieren Sie eine lokale SQL Postgre-Datenbank zu Aurora Postgre SQL

Erstellt von Baji Shaik (AWS) und Jitender Kumar () AWS

Umgebung: PoC oder Pilot	Quelle: Lokale Postgre-Datenbank SQL	Ziel: Aurora Postgre-Compatible SQL
R-Typ: Replatform	Arbeitslast: Open Source	Technologien: Migration; Datenbanken
AWSDienstleistungen: Amazon Aurora; AWS DMS

Übersicht

Amazon Aurora SQL Postgre-Compatible Edition kombiniert die Leistung und Verfügbarkeit kommerzieller High-End-Datenbanken mit der Einfachheit und Kosteneffizienz von Open-Source-Datenbanken. Aurora bietet diese Vorteile durch die Skalierung des Speichers auf drei Availability Zones in derselben AWS Region und unterstützt bis zu 15 Read Replica-Instances zur Skalierung von Lese-Workloads und zur Bereitstellung von Hochverfügbarkeit innerhalb einer einzigen Region. Mithilfe einer globalen Aurora-Datenbank können Sie SQL Postgre-Datenbanken in bis zu fünf Regionen replizieren, um den Fernlesezugriff und die Notfallwiederherstellung im Falle eines Regionsausfalls zu ermöglichen. Dieses Muster beschreibt die Schritte zur Migration einer lokalen SQL Postgre-Quelldatenbank zu einer Aurora SQL Postgre-kompatiblen Datenbank. Das Muster umfasst zwei Migrationsoptionen: die Verwendung von AWS Data Migration Service (AWSDMS) oder die Verwendung systemeigener SQL Postgre-Tools (wie pg_dump, pg_restore und psql) oder Tools von Drittanbietern. 

Die in diesem Muster beschriebenen Schritte gelten auch für SQL Postgre-Zieldatenbanken auf Amazon Relational Database Service (AmazonRDS) - und Amazon Elastic Compute Cloud (AmazonEC2) -Instances.

Voraussetzungen und Einschränkungen

Voraussetzungen

• Ein aktives Konto AWS

• Eine SQL Postgre-Quelldatenbank in einem lokalen Rechenzentrum

• Eine Aurora SQL Postgre-kompatible DB-Instance oder eine Amazon RDS for SQL Postgre-DB-Instance

Einschränkungen

• Die Größenbeschränkungen für Datenbanken liegen bei 64 TB für Amazon RDS für Postgre SQL und 128 TB für Aurora SQL Postgre-Compatible.

• Wenn Sie die AWS DMS Migrationsoption verwenden, lesen Sie sich die AWSDMSEinschränkungen für die Verwendung einer SQL Postgre-Datenbank als Quelle durch.

Produktversionen

• Informationen zur Unterstützung von SQL Postgre-Haupt- und Nebenversionen in Amazon RDS finden Sie unter Amazon RDS for SQL Postgre-Updates in der RDS Amazon-Dokumentation.

• Informationen zur SQL Postgre-Unterstützung in Aurora finden Sie unter Amazon Aurora SQL Postgre-Updates in der Aurora-Dokumentation.

• Wenn Sie die AWS DMS Migrationsoption verwenden, finden Sie in der Dokumentation Informationen zu den unterstützten SQL Postgre-Versionen. AWS DMS

Architektur

Quelltechnologie-Stack

• Lokale Postgre-Datenbank SQL

Zieltechnologie-Stack

• Aurora SQL Postgre-Kompatible DB-Instance

Quellarchitektur

Zielarchitektur

Architektur der Datenmigration

Verwenden AWS DMS

Verwendung nativer Postgre-Tools SQL

Tools

• AWSDer Database Migration Service (AWSDMS) unterstützt Sie bei der Migration von Datenspeichern in die AWS Cloud oder zwischen Kombinationen von Cloud- und lokalen Konfigurationen. Dieser Service unterstützt verschiedene Quellen und Zieldatenbanken. Hinweise zur Validierung der Versionen und Editionen der SQL Postgre-Quell- und Zieldatenbank, die für die Verwendung mit unterstützt werden AWSDMS, finden Sie unter Eine SQL Postgre-Datenbank als Quelle verwenden. AWS DMS Wir empfehlen Ihnen, die neueste Version von zu verwenden, um die umfassendste AWS DMS Versions- und Funktionsunterstützung zu erhalten.

• Zu den systemeigenen SQL Postgre-Tools gehören pg_dump, pg_restore und psql.

Epen

Analysieren Sie die Migration

Aufgabe	Beschreibung	Erforderliche Fähigkeiten
Validieren Sie die Quell- und Zieldatenbankversionen.	Wenn Sie Postgre verwenden AWSDMS, stellen Sie sicher, dass Sie eine unterstützte Version von Postgre SQL verwenden.	DBA
Identifizieren Sie den Speichertyp und die Kapazitätsanforderungen.	Berechnen Sie den für die Quelldatenbank-Instance zugewiesenen Speicher. Sammeln Sie die historischen Wachstumskennzahlen für die Quelldatenbank-Instance. Antizipieren Sie die future Wachstumsprognose für die Zieldatenbank-Instance. Ordnen Sie Speicherplatz zu, indem Sie die Gesamtzahl der Lese- und Schreibvorgänge in IOPS der Quelldatenbank berechnen. Ein Allzweckvolume SSD (gp2) bietet 3 IOPS pro 1 GB Speicher.	DBA, Systemadministrator
Wählen Sie den richtigen Instanztyp, die Kapazität, die Speicherfunktionen und die Netzwerkfunktionen aus.	Ermitteln Sie die Rechenanforderungen der Zieldatenbank-Instance. Prüfen Sie bekannte Leistungsprobleme, die möglicherweise zusätzliche Aufmerksamkeit erfordern. Berücksichtigen Sie die folgenden Faktoren, um den geeigneten Instance-Typ zu bestimmen: CPUNutzung der Quelldatenbankinstanz IOPS(Lese- und Schreiboperationen) für die Quelldatenbankinstanz Speicherbedarf auf der Quelldatenbankinstanz Weitere Informationen finden Sie unter Aurora-DB-Instance-Klassen in der Aurora-Dokumentation.	DBA, Systemadministrator
Identifizieren Sie die Sicherheitsanforderungen für den Netzwerkzugriff für die Quell- und Zieldatenbanken.	Ermitteln Sie die geeigneten Sicherheitsgruppen, die es der Anwendung ermöglichen würden, mit der Datenbank zu kommunizieren.	DBA, Systemadministrator
Identifizieren Sie die Strategie zur Anwendungsmigration.	Legen Sie die Strategie für die Umstellung der Migration auf der Grundlage der Komplexität Ihrer Anwendung fest.  Ermitteln Sie das Wiederherstellungszeitziel (RTO) und das Wiederherstellungspunktziel (RPO) für die Anwendung und planen Sie die Umstellung entsprechend.	DBA, Besitzer der App, Systemadministrator

Konfigurieren Sie die Infrastruktur

Aufgabe	Beschreibung	Erforderliche Fähigkeiten
Erstelle eineVPC.	Erstellen Sie eine neue virtuelle private Cloud (VPC) für die Zieldatenbankinstanz.	Systemadministrator
Erstellen Sie Sicherheitsgruppen.	Erstellen Sie eine Sicherheitsgruppe innerhalb der VPC (wie im vorherigen Epos festgelegt), um eingehende Verbindungen zur Datenbank-Instance zuzulassen.	Systemadministrator
Konfigurieren und starten Sie den Aurora-DB-Cluster.	Erstellen Sie die Zieldatenbank-Instance mit der neuen VPC Sicherheitsgruppe und starten Sie die Instance.	Systemadministrator

Daten migrieren ‒ Option 1 (verwenden AWSDMS)

Aufgabe	Beschreibung	Erforderliche Fähigkeiten
Führen Sie die Schritte vor der Migration durch.	Bereinigen Sie die Daten in der Quelldatenbank. Erstellen Sie eine Replikationsinstanz. Erstellen Sie Quell- und Zielendpunkte. Identifizieren Sie die Anzahl der verfügbaren Tabellen und Objekte, die migriert werden sollen.	DBA
Schließen Sie die Migrationsschritte ab.	Löschen Sie Fremdschlüsseleinschränkungen und Auslöser in der Zieldatenbank. Löschen Sie sekundäre Indizes in der Zieldatenbank. Verwenden Sie eine Volllastaufgabe, um Daten von der Quell- zur Zieldatenbank zu migrieren. Aktivieren Sie Fremdschlüssel. Wenn Sie die Flash-Cut-Migration verwenden und Ihre Anwendung nur minimale Ausfallzeiten erfordert, aktivieren Sie Change Data Capture (CDC), um laufende Änderungen zu replizieren Aktivieren Sie Auslöser. Sequenzen aktualisieren. Überprüfen Sie die Quell- und Zieldaten.	DBA
Daten validieren.	Um sicherzustellen, dass Ihre Daten korrekt von der Quelle zum Ziel migriert wurden, befolgen Sie die Schritte zur Datenvalidierung in der AWS DMS Dokumentation.	DBA

Daten migrieren ‒ Option 2 (mit pg_dump und pg_restore)

Aufgabe	Beschreibung	Erforderliche Fähigkeiten
Bereiten Sie die Quelldatenbank vor.	Erstellen Sie ein Verzeichnis zum Speichern von pg_dump-Backups, falls es noch nicht existiert. Erstellen Sie einen Migrationsbenutzer, der berechtigt ist, pg_dump für Datenbankobjekte auszuführen. Connect zur EC2 Instanz her und führen Sie pg_dump backup aus. Weitere Informationen finden Sie in der Dokumentation zu pg_dump und in der exemplarischen Vorgehensweise in der Dokumentation. AWS DMS	DBA
Bereiten Sie die Zieldatenbank vor.	Erstellen Sie einen Migrationsbenutzer, der berechtigt ist, pg_restore für Datenbankobjekte zu verwenden. Importieren Sie den Datenbank-Dump mithilfe von pg_restore. Weitere Informationen finden Sie in der Dokumentation zu pg_restore und in der exemplarischen Vorgehensweise in der Dokumentation. AWS DMS	DBA
Daten validieren.	Vergleichen Sie die Anzahl der Datenbankobjekte zwischen der Quell- und der Zieldatenbank. Beheben Sie alle festgestellten Diskrepanzen zwischen der Objektanzahl.	DBA

Migrieren Sie die Anwendung

Aufgabe	Beschreibung	Erforderliche Fähigkeiten
Folgen Sie der Strategie zur Anwendungsmigration.	Implementieren Sie die Strategie zur Anwendungsmigration, die Sie im ersten Epic erstellt haben.	DBA, App-Besitzer, Systemadministrator

Wechseln Sie zur Zieldatenbank

Aufgabe	Beschreibung	Erforderliche Fähigkeiten
Stellen Sie die Anwendungsclients auf die neue Infrastruktur um.	Beenden Sie alle Anwendungsdienste und Client-Verbindungen, die auf die lokale Postgre-Datenbank verweisen. SQL Führen Sie die Aufgaben aus. AWS DMS Richten Sie bei Bedarf eine Rollback-Aufgabe ein (umgekehrt CDC von Aurora SQL Postgre-Compatible zur lokalen Postgre-Datenbank). SQL Daten validieren. Starten Sie die Anwendungsdienste auf dem neuen Ziel, indem Sie Amazon Route 53 für die neue Aurora SQL Postgre-Compatible DB-Instance konfigurieren. Fügen Sie Amazon CloudWatch - und Performance Insights Insights-Monitoring zu Ihrer neuen Aurora SQL Postgre-kompatiblen DB-Instance hinzu.	DBA, App-Besitzer, Systemadministrator
Wenn Sie die Migration rückgängig machen müssen.	Beenden Sie alle Anwendungsdienste, die auf die Aurora SQL Postgre-Compatible Datenbank verweisen. Machen Sie die Änderungen an der lokalen SQL Postgre-Quelldatenbank rückgängig, indem Sie die AWS DMS Aufgabe verwenden, die Sie in der vorherigen Geschichte erstellt haben. Beenden Sie die AWS DMS Aufgaben, die von der lokalen SQL Postgre-Datenbank zur Aurora Postgre-kompatiblen Datenbank ausgeführt werden. SQL Konfigurieren Sie die Anwendung so, dass sie auf die lokale Postgre-Quelldatenbank zurückverweist. SQL Vergewissern Sie sich, dass die gesamte Rollback-Bereitstellung abgeschlossen ist.	DBA, Besitzer der App

Schließt das Projekt

Aufgabe	Beschreibung	Erforderliche Fähigkeiten
Ressourcen herunterfahren.	Fahren Sie die temporären AWS Ressourcen herunter.	DBA, Systemadministrator
Dokumente validieren.	Überprüfen und validieren Sie die Projektdokumente.	DBA, App-Besitzer, Systemadministrator
Sammeln Sie Metriken.	Sammeln Sie Kennzahlen zum Zeitpunkt der Migration, zu den prozentualen Einsparungen bei den manuellen Kosten im Vergleich zu den Werkzeugkosten usw.	DBA, App-Besitzer, Systemadministrator
Schließt das Projekt.	Schließen Sie das Projekt und geben Sie Feedback.	DBA, App-Besitzer, Systemadministrator

Zugehörige Ressourcen

Referenzen

• AWSDienst zur Datenmigration

• VPCsund Amazon Aurora

• Amazon-Aurora-Preise

• Verwenden einer SQL Postgre-Datenbank als Quelle AWS DMS

• Wie erstellt man eine AWS DMS Replikationsinstanz

• Wie erstellt man Quell- und Zielendpunkte mit AWS DMS

Weitere Ressourcen

• Erste Schritte mit AWS DMS

• step-by-stepExemplarische Vorgehensweisen zur Datenmigration

• Amazon Aurora Aurora-Ressourcen