Migre una base de datos Postgre local SQL a Aurora Postgre SQL

Creado por Baji Shaik (AWS) y Jitender Kumar () AWS

Entorno: PoC o piloto	Fuente: Base de datos Postgre local SQL	Objetivo: Compatible con Aurora Postgre SQL
Tipo R: redefinir la plataforma	Carga de trabajo: código abierto	Tecnologías: migración; bases de datos
AWSservicios: Amazon Aurora; AWS DMS

Resumen

La edición SQL compatible con Postgre de Amazon Aurora combina el rendimiento y la disponibilidad de las bases de datos comerciales de gama alta con la simplicidad y la rentabilidad de las bases de datos de código abierto. Aurora ofrece estos beneficios al escalar el almacenamiento en tres zonas de disponibilidad de la misma AWS región y admite hasta 15 instancias de réplica de lectura para ampliar las cargas de trabajo de lectura y proporcionar alta disponibilidad en una sola región. Al utilizar una base de datos global Aurora, puede replicar las SQL bases de datos de Postgre en hasta cinco regiones para el acceso de lectura remoto y la recuperación ante desastres en caso de que se produzca un error en la región. Este patrón describe los pasos para migrar una base de datos de SQL origen de Postgre local a una base de datos compatible con Aurora Postgre. SQL El patrón incluye dos opciones de migración: usar el Servicio de migración de AWS datos (AWSDMS) o usar herramientas nativas de Postgre (como pg_dump, pg_restore y psql) o SQL herramientas de terceros. 

Los pasos descritos en este patrón también se aplican a las SQL bases de datos Postgre de destino en las instancias de Amazon Relational Database Service (Amazon) RDS y Amazon Elastic Compute Cloud (Amazon). EC2

Requisitos previos y limitaciones

Requisitos previos 

• Una cuenta activa AWS

• Una base de datos SQL fuente de Postgre en un centro de datos local

• Una instancia de base de datos Aurora SQL compatible con Postgre o una instancia de base de datos de Amazon RDS for Postgre SQL

Limitaciones

• Los límites de tamaño de la base de datos son 64 TB para Amazon RDS para Postgre SQL y 128 TB para Aurora -Compatible con SQL Postgre.

• Si utiliza la opción de AWS DMS migración, consulte las AWSDMSlimitaciones del uso de una base de datos de SQL Postgre como fuente.

Versiones de producto

• Para obtener información sobre el soporte de las versiones SQL principales y secundarias de Postgre en AmazonRDS, consulta Amazon RDS for Postgre updates SQL en la documentación de Amazon. RDS

• Para obtener SQL soporte de Postgre en Aurora, consulte las actualizaciones de Amazon Aurora Postgre SQL en la documentación de Aurora.

• Si utiliza la opción de AWS DMS migración, consulte las versiones de SQLPostgre compatibles en la documentación. AWS DMS

Arquitectura

Pila de tecnología de origen

• Base de datos Postgre local SQL

Pila de tecnología de destino

• Instancia de base de datos Aurora compatible con Postgre SQL

Arquitectura de origen

Arquitectura de destino

Arquitectura de migración de datos

Usando AWS DMS

Uso de herramientas nativas de Postgre SQL

Herramientas

• AWSDatabase Migration Service (AWSDMS) le ayuda a migrar los almacenes de datos a la AWS nube o entre combinaciones de configuraciones locales y en la nube. Este servicio admite diferentes bases de datos de origen y destino. Para obtener información sobre cómo validar las versiones y ediciones de las bases de datos de SQL origen y destino de Postgre compatibles con su uso AWSDMS, consulte Uso de una base de datos de Postgre SQL como fuente. AWS DMS Le recomendamos que utilice la última versión de AWS DMS para obtener el soporte más completo de versiones y funciones.

• Las SQL herramientas nativas de Postgree incluyen pg_dump, pg_restore y psql.

Epics

Analice la migración

Tarea	Descripción	Habilidades requeridas
Valide las versiones de las bases de datos de origen y de destino.	Si está utilizando Postgre AWSDMS, asegúrese de que está utilizando una versión compatible de Postgre. SQL	DBA
Identifique el tipo de almacenamiento y los requisitos de capacidad.	Calcule el almacenamiento asignado para la instancia de base de datos de origen. Recopile las métricas de crecimiento históricas de la instancia de base de datos de origen. Anticipe la previsión de crecimiento futuro de la instancia de base de datos de destino. Asigne el almacenamiento calculando el número total de lectura y escritura IOPS en la base de datos de origen. Un volumen de uso general SSD (gp2) proporciona 3 IOPS por cada 1 GB de almacenamiento.	DBA, administrador de sistemas
Elija el tipo de instancia, la capacidad, las características de almacenamiento y las características de red adecuadas.	Determine los requisitos de procesamiento de la instancia de base de datos de destino. Revise los problemas de rendimiento conocidos que puedan necesitar más atención. Tenga en cuenta los siguientes factores para determinar el tipo de instancia adecuado: CPUutilización de la instancia de base de datos de origen IOPS(operaciones de lectura y escritura) para la instancia de base de datos de origen Huella de memoria en la instancia de base de datos de origen Para obtener más información, consulte Clases de instancia de base de datos de Aurora en la documentación de Aurora.	DBA, administrador de sistemas
Identifique los requisitos de seguridad de acceso a la red para las bases de datos de origen y destino.	Determine los grupos de seguridad adecuados que permitirían a la aplicación comunicarse con la base de datos.	DBA, administrador de sistemas
Identificar la estrategia de migración de aplicaciones.	Determine la estrategia de transición de la migración en función de la complejidad de su aplicación.  Determine el objetivo de tiempo de recuperación (RTO) y el objetivo del punto de recuperación (RPO) de la aplicación y planifique la transición en consecuencia.	DBA, propietario de la aplicación, administrador de sistemas

Configuración de la infraestructura

Tarea	Descripción	Habilidades requeridas
Crea unVPC.	Cree una nueva nube privada virtual (VPC) para la instancia de base de datos de destino.	Administrador de sistemas
Cree grupos de seguridad.	Cree un grupo de seguridad dentro de VPC (como se determinó en la epopeya anterior) para permitir las conexiones entrantes a la instancia de base de datos.	Administrador de sistemas
Configure e inicie el clúster de base de datos Aurora.	Cree la instancia de base de datos de destino con el nuevo grupo de seguridad VPC e inicie la instancia.	Administrador de sistemas

Migrar datos: opción 1 (usar AWSDMS)

Tarea	Descripción	Habilidades requeridas
Complete los pasos previos a la migración.	Limpie los datos de la base de datos de origen. Cree una instancia de replicación. Cree puntos de conexión de origen y destino. Identifique el número de tablas y objetos disponibles que se van a migrar.	DBA
Complete los pasos de migración.	Elimine las restricciones y los disparadores de clave externa en la base de datos de destino. Elimine los índices secundarios en la base de datos de destino. Utilice una tarea de carga completa para migrar los datos de la base de datos de origen a la de destino. Habilite claves externas. Si utiliza una migración instantánea y su aplicación requiere un tiempo de inactividad mínimo, habilite la captura de datos de cambios (CDC) para replicar los cambios en curso Active los desencadenadores. Actualice las secuencias. Valide los datos de origen y destino.	DBA
Valide los datos.	Para garantizar que los datos se hayan migrado con precisión del origen al destino, siga los pasos de validación de datos que se indican en la AWS DMS documentación.	DBA

Migración de datos: opción 2 (con pg_dump y pg_restore)

Tarea	Descripción	Habilidades requeridas
Prepare la base de datos de origen.	Cree un directorio para almacenar la copia de seguridad de pg_dump si aún no existe. Cree un usuario de migración que tenga permisos para ejecutar pg_dump en los objetos de la base de datos. Conéctese a la EC2 instancia y ejecute pg_dump backup. Para obtener más información, consulta la documentación de pg_dump y el tutorial de la documentación. AWS DMS	DBA
Prepare la base de datos de destino.	Cree un usuario de migración que tenga permisos para usar pg_restore en los objetos de la base de datos. Importe el volcado de la base de datos mediante pg_restore. Para obtener más información, consulte la documentación de pg_restore y el tutorial de la documentación. AWS DMS	DBA
Valide los datos.	Compare los recuentos de objetos de la base de datos entre las bases de datos de origen y destino. Resuelva cualquier discrepancia que se encuentre entre los recuentos de objetos.	DBA

Migración de la aplicación

Tarea	Descripción	Habilidades requeridas
Seguir la estrategia de migración de aplicaciones.	Implemente la estrategia de migración de aplicaciones que creó en la primera epopeya.	DBA, propietario de la aplicación, administrador de sistemas

Realizar la transición a la base de datos de destino

Tarea	Descripción	Habilidades requeridas
Cambie los clientes de la aplicación a la nueva infraestructura.	Detenga todos los servicios de aplicaciones y las conexiones de clientes que apunten a la base de datos Postgre SQL local. Ejecute las tareas. AWS DMS Configure una tarea de reversión (inversa CDC de Aurora Postgre, SQL compatible con la base de datos Postgre local) si es necesario. SQL Valide los datos. Inicie los servicios de la aplicación en el nuevo destino configurando Amazon Route 53 en la nueva instancia de base de datos Aurora SQL compatible con Postgre. Añada la supervisión de Amazon CloudWatch y Performance Insights a su nueva instancia de base de datos Aurora SQL compatible con Postgre.	DBA, propietario de la aplicación, administrador de sistemas
Si necesita revertir la migración, haga lo siguiente.	Detenga todos los servicios de aplicaciones que apunten a la base de datos Aurora compatible con PostgreSQL. Revierta los cambios en la SQL base de datos Postgre local de origen mediante la AWS DMS tarea que creó en la historia anterior. Detenga las AWS DMS tareas que se ejecutan desde la base de datos de Postgre local a la SQL base de datos compatible con Aurora SQL Postgre. Configure la aplicación para que apunte a la base de datos Postgre local de origen. SQL Confirme que se haya completado toda la implementación de la reversión.	DBA, propietario de la aplicación

Cerrar el proyecto

Tarea	Descripción	Habilidades requeridas
Cierre los recursos.	Cierre los AWS recursos temporales.	DBA, administrador de sistemas
Valide los documentos.	Revise y valide los documentos del proyecto.	DBA, propietario de la aplicación, administrador de sistemas
Recopile métricas.	Recopile métricas sobre el tiempo de migración, el porcentaje de ahorro de costos manuales en comparación con los de herramientas, etc.	DBA, propietario de la aplicación, administrador de sistemas
Cierre el proyecto.	Cierre el proyecto y envíe sus comentarios.	DBA, propietario de la aplicación, administrador de sistemas

Recursos relacionados

Referencias

• AWSServicio de migración de datos

• VPCsy Amazon Aurora

• Precios de Amazon Aurora

• Uso de una SQL base de datos de Postgre como fuente AWS DMS

• ¿Cómo crear una instancia de replicación AWS DMS

• Cómo crear puntos finales de origen y destino mediante AWS DMS

Recursos adicionales

• Empezando con AWS DMS

• step-by-stepTutoriales sobre la migración de datos

• Recursos de Amazon Aurora