Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.
Migración de un clúster de Amazon Redshift a una región de AWS en China
Creado por Jing Yan (AWS)
Resumen
Este patrón proporciona un step-by-step enfoque para migrar un clúster de Amazon Redshift a una región de AWS en China desde otra región de AWS.
Este patrón emplea comandos SQL para recrear todos los objetos de base de datos, y usa el comando UNLOAD para mover estos datos de Amazon Redshift a un bucket de Amazon Simple Storage Service (Amazon S3) en la región de origen. A continuación, los datos se migran a un bucket de S3 en la región de AWS en China. El comando COPY carga datos del bucket de S3 y los transfiere al clúster de Amazon Redshift de destino.
Actualmente, Amazon Redshift no admite características entre regiones, como la copia de instantáneas en regiones de AWS en China. Este patrón proporciona una forma de evitar esta limitación. También puede invertir los pasos de este patrón para migrar datos de una región de AWS en China a otra región de AWS.
Requisitos previos y limitaciones
Requisitos previos
Cuentas de AWS activas, tanto en una región de China como en una región de AWS fuera de China
Clústeres de Amazon Redshift existentes, tanto en una región de China como en una región de AWS fuera de China
Limitaciones
Esta es una migración sin conexión, por lo que el clúster de Amazon Redshift de origen no podrá realizar operaciones de escritura durante la migración.
Arquitectura
Pila de tecnología de origen
Clúster de Amazon Redshift en una región de AWS fuera de China
Pila de tecnología de destino
Clúster de Amazon Redshift en una región de AWS en China
Arquitectura de destino
Herramientas
Herramientas
Amazon S3: Amazon Simple Storage Service (Amazon S3) es un servicio de almacenamiento de objetos que ofrece escalabilidad, disponibilidad de datos, seguridad y resultados. Puede usar Amazon S3 para almacenar datos de Amazon Redshift y copiar datos de un bucket de S3 a Amazon Redshift.
Amazon Redshift: Amazon Redshift es un servicio de almacenamiento de datos de varios petabytes totalmente administrado en la nube.
psql
: psql es una interfaz de PostgreSQL basada en terminal.
Epics
| Tarea | Descripción | Habilidades requeridas |
|---|---|---|
Lance y configure una EC2 instancia en la región de origen. | Inicie sesión en la consola de administración de AWS y abra la consola de Amazon Elastic Compute Cloud (Amazon EC2). En la barra de navegación de la parte superior de la pantalla, se muestra la región actual. Esta región no puede ser una región de AWS en China. En el panel de control de la EC2 consola de Amazon, selecciona «Lanzar instancia» y crea y configura una EC2 instancia. Importante: Asegúrese de que sus grupos de EC2 seguridad para las reglas de entrada permitan el acceso sin restricciones al puerto TCP 22 desde su máquina de origen. Para obtener instrucciones sobre cómo lanzar y configurar una EC2 instancia, consulta la sección «Recursos relacionados». | Administrador de base de datos, desarrollador |
Instale la herramienta psql. | Descargue e instale PostgreSQL. Amazon Redshift no proporciona la herramienta psql. Esta se instala con PostgreSQL. Para obtener más información sobre el uso de psql y la instalación de las herramientas de PostgreSQL, consulte la sección “Recursos relacionados”. | Administrador de base de datos |
Registre los detalles del clúster de Amazon Redshift. | En el panel de navegación de la consola de Amazon Redshift, seleccione “Clústeres”. A continuación, seleccione el nombre del clúster de Amazon Redshift de la lista. En la pestaña “Propiedades”, en la sección “Configuración de la base de datos”, registre el “Nombre de la base de datos” y “Puerto”. Abra la sección “Detalles de conexión” y registre el “Punto de conexión”, en el formato: <port>/<databasename>”. Importante: Asegúrese de que sus grupos de seguridad de Amazon Redshift para las reglas de entrada permitan el acceso sin restricciones al puerto TCP 5439 desde su instancia. EC2 | Administrador de base de datos |
Conecte psql al clúster de Amazon Redshift. | En una línea de comandos, especifique la información de conexión ejecutando el comando “psql -h <endpoint> -U <userid> -d <databasename> -p <port>”. Cuando se le solicite la contraseña de psql, introduzca la contraseña del usuario “<userid>”. Estará entonces conectado al clúster de Amazon Redshift y puede ingresar comandos de forma interactiva. | Administrador de base de datos |
Cree un bucket de S3. | Abra la consola de Amazon S3 y cree un bucket de S3 que contenga los archivos exportados desde Amazon Redshift. Para obtener más instrucciones sobre cómo crear un bucket de S3, consulte la sección “Recursos relacionados”. | Administrador de base de datos, AWS general |
Cree una política de IAM que permita descargar datos. | Abra la consola de AWS Identity and Access Management (IAM) y seleccione “Políticas”. Seleccione “Crear política” y, a continuación, la pestaña “JSON”. Copie y pegue la política de IAM para descargar datos de la sección “Información adicional”. Importante: sustituya “s3_bucket_name” por el nombre de su bucket de S3. Seleccione “Revisar política”, e introduzca un nombre y una descripción para la política. Seleccione “Crear política”. | Administrador de base de datos |
Cree un rol de IAM que permita la operación UNLOAD en Amazon Redshift. | Abra la consola de IAM y seleccione “Roles”. Seleccione “Crear rol” y elija “Servicio de AWS” en “Seleccione el tipo de entidad de confianza”. Elija “Redshift” en el servicio, seleccione “Redshift - Personalizable” y, a continuación, elija “Siguiente”. Elija la política de “Descarga” que creó anteriormente y seleccione “Siguiente”. Introduzca un “nombre de rol”, y seleccione “Crear rol”. | Administrador de base de datos |
Asociar un rol de IAM al clúster de Amazon Redshift. | Abra la consola de Amazon Redshift y elija “Administrar roles de IAM”. Elija “Roles disponibles” en el menú desplegable y seleccione el rol que creó anteriormente. Seleccione “Aplicar cambios”. Cuando el “Estado” del rol de IAM en la sección “Administrar roles de IAM” aparezca como “Sincronizado”, puede ejecutar el comando UNLOAD. | Administrador de base de datos |
Detenga las operaciones de escritura en el clúster de Amazon Redshift. | Recuerde detener todas las operaciones de escritura en el clúster de Amazon Redshift de origen hasta que se complete la migración. | Administrador de base de datos |
| Tarea | Descripción | Habilidades requeridas |
|---|---|---|
Lance y configure una EC2 instancia en la región de destino. | Inicie sesión en la consola de administración de AWS de una región de China, ya sea Pekín o Ningxia. En la EC2 consola de Amazon, selecciona «Lanzar instancia» y crea y configura una EC2 instancia. Importante: Asegúrese de que sus grupos de EC2 seguridad de Amazon para las reglas de entrada permitan el acceso sin restricciones al puerto TCP 22 desde su máquina de origen. Para obtener más instrucciones sobre cómo lanzar y configurar una EC2 instancia, consulta la sección «Recursos relacionados». | Administrador de base de datos |
Registre los detalles del clúster de Amazon Redshift. | En el panel de navegación de la consola de Amazon Redshift, seleccione “Clústeres”. A continuación, seleccione el nombre del clúster de Amazon Redshift de la lista. En la pestaña “Propiedades”, en la sección “Configuración de la base de datos”, registre el “Nombre de la base de datos” y “Puerto”. Abra la sección “Detalles de conexión” y registre el “Punto de conexión”, en el formato: <port>/<databasename>”. Importante: Asegúrese de que sus grupos de seguridad de Amazon Redshift para las reglas de entrada permitan el acceso sin restricciones al puerto TCP 5439 desde su instancia. EC2 | Administrador de base de datos |
Conecte psql al clúster de Amazon Redshift. | En una línea de comandos, especifique la información de conexión ejecutando el comando “psql -h <endpoint> -U <userid> -d <databasename> -p <port>”. Cuando se le solicite la contraseña de psql, introduzca la contraseña del usuario “<userid>”. Estará entonces conectado al clúster de Amazon Redshift y puede ingresar comandos de forma interactiva. | Administrador de base de datos |
Cree un bucket de S3. | Abra la consola de Amazon S3 y cree un bucket de S3 que contenga los archivos exportados desde Amazon Redshift. Para obtener más información sobre esta y otras explicaciones, consulte la sección “Recursos relacionados”. | Administrador de base de datos |
Cree una política de IAM que permita copiar datos. | Abra la consola de IAM y seleccione “Políticas”. Seleccione “Crear política” y, a continuación, la pestaña “JSON”. Copie y pegue la política de IqAM para descargar datos de la sección “Información adicional”. Importante: sustituya “s3_bucket_name” por el nombre de su bucket de S3. Seleccione “Revisar política”, e introduzca un nombre y una descripción para la política. Seleccione “Crear política”. | Administrador de base de datos |
Cree un rol de IAM que permita la operación COPIAR en Amazon Redshift. | Abra la consola de IAM y seleccione “Roles”. Seleccione “Crear rol” y elija “Servicio de AWS” en “Seleccione el tipo de entidad de confianza”. Elija “Redshift” en el servicio, seleccione “Redshift - Personalizable” y, a continuación, elija “Siguiente”. Elija la política “Copiar” que creó anteriormente y seleccione “Siguiente”. Introduzca un “nombre de rol”, y seleccione “Crear rol”. | Administrador de base de datos |
Asociar un rol de IAM al clúster de Amazon Redshift. | Abra la consola de Amazon Redshift y elija “Administrar roles de IAM”. Elija “Roles disponibles” en el menú desplegable y seleccione el rol que creó anteriormente. Seleccione “Aplicar cambios”. Cuando el “Estado” del rol de IAM en la sección “Administrar roles de IAM” aparezca como “Sincronizado”, puede ejecutar el comando “COPIAR”. | Administrador de base de datos |
| Tarea | Descripción | Habilidades requeridas |
|---|---|---|
Compruebe las filas de las tablas de Amazon Redshift de origen. | Use los scripts de la sección “Información adicional” para verificar y registrar el número de filas de las tablas de Amazon Redshift de origen. Recuerde dividir los datos equitativamente para los scripts UNLOAD y COPY. Esto mejorará la eficiencia de la descarga y carga de datos, ya que la cantidad de datos incluida en cada script estará equilibrada. | Administrador de base de datos |
Compruebe el número de objetos de base de datos en el clúster de Amazon Redshift de origen. | Utilice los scripts de la sección «Información adicional» para verificar y registrar el número de bases de datos, usuarios, esquemas, tablas, vistas y funciones definidas por el usuario (UDFs) en su clúster de Amazon Redshift de origen. | Administrador de base de datos |
Compruebe los resultados de las instrucciones SQL antes de la migración. | Algunas instrucciones SQL de validación de datos deben clasificarse de acuerdo con las situaciones empresariales y de datos reales. Este paso verificará los datos importados y garantizará que sean coherentes y se muestren correctamente. | Administrador de base de datos |
| Tarea | Descripción | Habilidades requeridas |
|---|---|---|
Genere scripts DDL de Amazon Redshift. | Genere scripts de lenguaje de definición de datos (DDL) mediante los enlaces de la sección “Instrucciones de SQL para consultas en Amazon Redshift” en la sección “Información adicional”. Estos scripts de DDL deben incluir las consultas “crear usuario”, “crear esquema”, “privilegios del usuario sobre el esquema”, “crear tabla/vista”, “privilegios del usuario sobre los objetos” y “crear función”. | Administrador de base de datos |
Cree objetos en el clúster de Amazon Redshift para la región de destino. | Ejecute los scripts de DDL usando la Interfaz de la línea de comandos de AWS (AWS CLI) en la región de AWS en China. Estos guiones crean objetos en el clúster de Amazon Redshift para la región de destino. | Administrador de base de datos |
Descargue los datos de origen del clúster de Amazon Redshift en el bucket de S3. | Ejecute el comando UNLOAD para descargar los datos del clúster de Amazon Redshift de la región de origen al bucket de S3. | Administrador de base de datos, desarrollador |
Transfiera los datos del bucket de la región S3 de origen al bucket de la región S3 de destino. | Transfiera los datos del bucket de la región S3 de origen al bucket de la región S3 de destino. Ya que no se puede usar el comando “$ aws s3 sync”, asegúrese de seguir el proceso descrito en el artículo “Transferir datos de Amazon S3 de regiones de AWS a regiones de AWS en China” de la sección “Recursos relacionados”. | Desarrollador |
Cargue los datos en el clúster de Amazon Redshift de destino. | En la herramienta psql de la región de destino, ejecute el comando COPY para cargar los datos del bucket de S3 al clúster de Amazon Redshift de destino. | Administrador de base de datos |
| Tarea | Descripción | Habilidades requeridas |
|---|---|---|
Verifique y compare el número de filas en las tablas de origen y destino. | Verifique y compare el número de filas en las tablas de origen y destino de las regiones para asegurarse de que todas han migrado. | Administrador de base de datos |
Verifique y compare el número de objetos en las bases de datos de origen y destino. | Verifique y compare todos los objetos de la base de datos en las regiones de origen y destino para asegurarse de que todos se hayan migrado. | Administrador de base de datos |
Verifique y compare los resultados de los scripts SQL en las regiones de origen y destino. | Ejecute los scripts SQL preparados antes de la migración. Verifique y compare los datos para asegurarse de que los resultados de SQL sean correctos. | Administrador de base de datos |
Restablezca las contraseñas de todos los usuarios del clúster de Amazon Redshift de destino. | Una vez finalizada la migración y verificados todos los datos, debe restablecer todas las contraseñas de usuario del clúster de Amazon Redshift en la región de AWS en China. | Administrador de base de datos |
Recursos relacionados
Información adicional
Política de IAM para descargar datos
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": ["s3:ListBucket"],
"Resource": ["arn:aws:s3:::s3_bucket_name"]
},
{
"Effect": "Allow",
"Action": ["s3:GetObject", "s3:DeleteObject"],
"Resource": ["arn:aws:s3:::s3_bucket_name/*"]
}
]
}Política de IAM para copiar datos
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": ["s3:ListBucket"],
"Resource": ["arn:aws:s3:::s3_bucket_name"]
},
{
"Effect": "Allow",
"Action": ["s3:GetObject"],
"Resource": ["arn:aws:s3:::s3_bucket_name/*"]
}
]
}Instrucciones de SQL para consultas en Amazon Redshift
##Database
select * from pg_database where datdba>1;
##User
select * from pg_user where usesysid>1;
##Schema
SELECT n.nspname AS "Name",
pg_catalog.pg_get_userbyid(n.nspowner) AS "Owner"
FROM pg_catalog.pg_namespace n
WHERE n.nspname !~ '^pg_' AND n.nspname <> 'information_schema'
ORDER BY 1;
##Table
select count(*) from pg_tables where schemaname not in ('pg_catalog','information_schema');
select schemaname,count(*) from pg_tables where schemaname not in ('pg_catalog','information_schema') group by schemaname order by 1;
##View
SELECT
n.nspname AS schemaname,c.relname AS viewname,pg_catalog.pg_get_userbyid(c.relowner) as "Owner"
FROM
pg_catalog.pg_class AS c
INNER JOIN
pg_catalog.pg_namespace AS n
ON c.relnamespace = n.oid
WHERE relkind = 'v' and n.nspname not in ('information_schema','pg_catalog');
##UDF
SELECT
n.nspname AS schemaname,
p.proname AS proname,
pg_catalog.pg_get_userbyid(p.proowner) as "Owner"
FROM pg_proc p
LEFT JOIN pg_namespace n on n.oid = p.pronamespace
WHERE p.proowner != 1;Secuencias de comandos SQL para generar sentencias DDL
