AWS Glue ETL

AWS Glue ETL permite extraer datos de varias fuentes, transformarlos para que se adapten a las necesidades de su empresa y cargarlos en el destino que elija. Este servicio utiliza el motor Apache Spark para distribuir las cargas de trabajo de macrodatos entre los nodos de trabajo, lo que permite realizar transformaciones más rápidas con el procesamiento en memoria.

AWS Glue admite diversas fuentes de datos, incluidas Amazon Simple Storage Service (Amazon S3), Amazon DynamoDB y Amazon Relational Database Service (Amazon RDS). Para obtener más información sobre las fuentes de datos compatibles, consulte Tipos y opciones de conexión para ETL en AWS Glue.

Creación en AWS Glue

AWS Glue proporciona varias formas de crear trabajos de ETL, según su experiencia y caso de uso:

• Los trabajos del intérprete de comandos de Python están diseñados para ejecutar scripts ETL básicos escritos en Python. Estos trabajos se ejecutan en una sola máquina y son más adecuados para conjuntos de datos pequeños o medianos.

• Los trabajos de Apache Spark se pueden escribir en Python o Scala. Estos trabajos utilizan Spark para escalar horizontalmente las cargas de trabajo en muchos nodos de trabajo, de modo que puedan gestionar grandes conjuntos de datos y transformaciones complejas.

• AWS Glue streaming ETL utiliza el motor de streaming estructurado Apache Spark para transformar los datos de streaming en trabajos de microlotes utilizando una semántica de exactamente una sola vez. Puede crear trabajos AWS Glue de streaming en Python o Scala.

• AWS Glue Studioes una interfaz de boxes-and-arrows estilo visual que permite que los desarrolladores que se inicien en la programación con Apache Spark puedan acceder al ETL basado en Spark.

Unidades de procesamiento de datos

AWS Glue usa unidades de procesamiento de datos (DPUs) para medir los recursos de cómputo asignados a un trabajo de ETL y calcular el costo. Cada DPU equivale a 4 vCPU y 16 GB de memoria. Las DPU deben asignarse a su AWS Glue trabajo en función de su complejidad y volumen de datos. Asignar la cantidad adecuada de DPU le permitirá equilibrar las necesidades de rendimiento con las limitaciones de costos.

AWS Glue proporciona varios tipos de trabajadores que están optimizados para diversas cargas de trabajo:

• G.1X o G.2X (para la mayoría de las transformaciones, uniones y consultas de datos)

• G.4X o G.8X (para transformaciones, agregaciones, uniones y consultas de datos más exigentes)

• G.025X (para flujos de datos esporádicos y de bajo volumen)

• Estándar (para AWS Glue las versiones 1.0 o anteriores; no se recomienda para versiones posteriores de) AWS Glue

Uso del intérprete de comandos de Python

Para un trabajo del intérprete de comandos de Python, puede usar 1 DPU para usar 16 GB de memoria o 0.0625 DPU para usar 1 GB de memoria. El shell de Python está diseñado para trabajos ETL básicos con conjuntos de datos pequeños o medianos (hasta aproximadamente 10 GB).

Comparación de los tipos de trabajadores

La siguiente tabla muestra los diferentes tipos de AWS Glue trabajadores para las cargas de trabajo por lotes, de streaming y de AWS Glue Studio ETL que utilizan el entorno Apache Spark.

	G.1X	G.2X	G.4X	G.8X	G.025X	Estándar
vCPU	4	8	16	32	2	4
Memoria	16 GB	32 GB	64 GB	128 GB	4 GB	16 GB
Espacio en disco	64 GB	128 GB	256 GB	512 GB	64 GB	50 GB
Ejecutor por trabajo	1	1	1	1	1	2
DPU	1	2	4	8	0,25	1

No se recomienda el tipo de trabajador estándar para la AWS Glue versión 2.0 y posteriores. El tipo de trabajador G.025X solo está disponible para la transmisión de trabajos que utilicen la AWS Glue versión 3.0 o posterior.