Aurora Postgre: integración compatible SQL con AWS Glue

AWS Glue es un servicio de extracción, transformación y carga (ETL) totalmente gestionado para preparar y cargar datos para su análisis. Puede integrarlo AWS Glue con la edición SQL compatible con Postgre de Amazon Aurora para cualquier flujo de trabajo de procesamiento y análisis de datos.

AWS Glue casos de uso y pasos de alto nivel

Integración de Aurora PostgreSQL: AWS Glue compatible con los siguientes casos de uso:

• Almacenamiento y análisis de datos ‒ Utilice la AWS Glue integración con Aurora Postgre SQL -Compatible para crear soluciones de almacenamiento y análisis de datos. AWS Glue puede extraer datos de bases de datos SQL compatibles con Aurora Postgre y transformarlos según sus necesidades. A continuación, AWS Glue puede cargar los datos transformados en un almacén de datos como Amazon Redshift o Amazon Athena para realizar análisis e informes avanzados.

• Creación de lagos de datos: AWS Glue utilícelos para extraer datos de Aurora (SQLcompatible con Postgre) y cárguelos en un lago de datos almacenado en Amazon S3. A continuación, puede utilizar este lago de datos para diversos fines, como el aprendizaje automático, la exploración de datos o la alimentación de otros sistemas analíticos.

• ETLcanalizaciones: utilice el ETL servicio AWS Glue sin servidor para crear canalizaciones de datos sólidas. Puede extraer datos de Aurora SQL Compatible con Postgre y realizar transformaciones complejas mediante Apache Spark o. PySpark Puede cargar los datos procesados en un destino, como Amazon S3 o Amazon Redshift, o puede volver a cargarlos en Aurora SQL Postgre Compatible.

• Catalogación de datos y administración de metadatos: utilícelo AWS Glue Data Catalog para rastrear y catalogar automáticamente los metadatos de bases de datos y tablas compatibles con Aurora PostgreSQL. Servicios de AWS como Amazon Athena y Amazon Redshift, Spectrum puede utilizar este repositorio de metadatos centralizado para consultar y analizar datos.

• Preparación de datos para aprendizaje automático: úselo AWS Glue para preparar datos de Aurora Postgre: SQL compatible con cargas de trabajo de aprendizaje automático (ML). Los datos procesados se pueden cargar en Amazon SageMaker AI u otros servicios de aprendizaje automático para entrenar e implementar modelos.

• Migración y replicación de datos: si bien AWS Database Migration Service (AWS DMS) es el servicio principal para las migraciones de bases de datos, también puede utilizarlo AWS Glue. Migre o replique datos de Aurora PostgreSQL: compatible con otros almacenes de datos, como Amazon S3, Amazon Redshift o incluso otros motores de bases de datos.

Su organización puede utilizar el poder de AWS los servicios de análisis e integración de datos con la escalabilidad, el rendimiento y la compatibilidad de Aurora SQL Postgre Compatible. Con estos casos de uso, puede crear canales de datos sólidos, realizar transformaciones de datos complejas e integrarlos con otros Servicios de AWS para obtener análisis e informes avanzados.

Para integrar Aurora Postgre SQL -Compatible con AWS Glue, utilice los siguientes pasos de alto nivel:

1. Inicie sesión en AWS Management Console, navegue hasta la AWS Glue consola y cree una. AWS Glue Data Catalog

   El catálogo de datos es un repositorio central que almacena metadatos sobre sus fuentes de datos, incluidas las bases de datos y tablas SQL compatibles con Aurora Postgre.

2. Cree una conexión. AWS Glue

   Ve a la página de conexiones y crea una AWS Glue conexión. Seleccione Aurora Postgre SQL -Compatible como tipo de conexión y proporcione el punto final del clúster SQL compatible con Aurora Postgre, el nombre de la base de datos y el nombre de usuario y la contraseña de la base de datos.

3. Rastree la fuente de datos Aurora compatible con PostgreSQL.

   Vaya a la sección de rastreadores y cree un rastreador configurado para usar la conexión que ha creado. Especifique los nombres de bases de datos y tablas que desee rastrear e incluir en el catálogo de datos y ejecute el rastreador.

4. Cree y ejecute un AWS Glue ETL trabajo.

   Vaya a la sección Trabajos y cree un ETL trabajo para acceder a los datos de la base de datos SQL compatible con Aurora Postgre y consultarlos mediante el Catálogo de datos. Elija el tipo de trabajo en función de sus requisitos. En el script de ETL trabajo, realice las transformaciones o el procesamiento necesarios y especifique la ubicación de destino de los datos procesados. La ubicación de destino puede ser Amazon S3, Amazon Redshift u otra base de datos Aurora compatible con PostgreSQL.

Para obtener instrucciones detalladas, consulte la documentación.AWS Glue