Programe scripts AWS Glue ETL en PySpark

Puede encontrar ejemplos de código y utilidades de Python AWS Glue en el repositorio de AWS Glue muestras del sitio GitHub web.

Uso de Python con AWS Glue

AWS Glue admite una extensión del dialecto de PySpark Python para tareas de extracción, transformación y carga (ETL) de secuencias de comandos. En esta sección se describe cómo utilizar Python en scripts de ETL con la API de AWS Glue.

• Configuración para usar Python con AWS Glue

• Llamada a las API de AWS Glue en Python

• Uso de bibliotecas de Python con AWS Glue

• Ejemplos de código Python en AWS Glue

AWS Glue PySpark extensiones

AWS Glueha creado las siguientes extensiones para el dialecto de PySpark Python.

• Acceso a los parámetros mediante getResolvedOptions

• Tipos de extensión PySpark

• Clase DynamicFrame

• Clase DynamicFrameCollection

• Clase DynamicFrameWriter

• DynamicFrameReader clase

• GlueContext clase

AWS Glue PySpark transforma

AWS Glueha creado las siguientes clases de transformación para utilizarlas en las operaciones de PySpark ETL.

• Clase de base GlueTransform

• Clase ApplyMapping

• Clase DropFields

• Clase DropNullFields

• Clase ErrorsAsDynamicFrame

• Clase FillMissingValues

• Clase de filtro

• Clase FindIncrementalMatches

• Clase FindMatches

• Clase FlatMap

• Clase Join

• Clase Map

• Clase MapToCollection

• mergeDynamicFrame

• Clase Relationalize

• Clase RenameField

• Clase ResolveChoice

• Clase SelectFields

• Clase SelectFromCollection

• Clase Spigot

• Clase SplitFields

• Clase SplitRows

• Clase Unbox

• Clase UnnestFrame