Programación de scripts de ETL de AWS Glue en Python

Puede encontrar ejemplos de código de Python y utilidades para AWS Glue en el repositorio de ejemplos de AWS Glue en el sitio web de GitHub.

Uso de Python con AWS Glue

AWS Glue soporta una extensión del dialecto PySpark Python para scripting de trabajos de extracción, transformación y carga (ETL). En esta sección se describe cómo utilizar Python en scripts de ETL con la API de AWS Glue.

• Configuración para usar Python con AWS Glue

• Llamada a las API de AWS Glue en Python

• Uso de bibliotecas de Python con AWS Glue

• Ejemplos de código Python en AWS Glue

Extensiones PySpark de AWS Glue

AWS Glue ha creado las siguientes extensiones del dialecto PySpark Python.

• Acceso a los parámetros mediante getResolvedOptions

• Tipos de extensión PySpark

• Clase DynamicFrame

• Clase DynamicFrameCollection

• Clase DynamicFrameWriter

• Clase DynamicFrameReader

• GlueContext clase

Transformaciones PySpark de AWS Glue

AWS Glue ha creado las siguientes clases de transformación para utilizarlas en operaciones de ETL de PySpark.

• Clase de base GlueTransform

• Clase ApplyMapping

• Clase DropFields

• Clase DropNullFields

• Clase ErrorsAsDynamicFrame

• Clase FillMissingValues

• Clase de filtro

• Clase FindIncrementalMatches

• Clase FindMatches

• Clase FlatMap

• Clase Join

• Clase Map

• Clase MapToCollection

• mergeDynamicFrame

• Clase Relationalize

• Clase RenameField

• Clase ResolveChoice

• Clase SelectFields

• Clase SelectFromCollection

• Clase Spigot

• Clase SplitFields

• Clase SplitRows

• Clase Unbox

• Clase UnnestFrame