AWS GluePrograme scripts ETL en PySpark

Puede encontrar ejemplos de código de Python y utilidades paraAWS Glue en elAWS Glue GitHub sitio web.

Uso de Python con AWS Glue

AWSGlue soporta una extensión del dialecto PySpark PySpark para scripting de trabajos de extracción, transformación y carga (ETL). En esta sección se describe cómo utilizar Python en scripts de ETL con la API de AWS Glue.

• Configuración para usar Python con AWS Glue

• Llamada a las API de AWS Glue en Python

• Uso de bibliotecas de Python con AWS Glue

• Ejemplos de código Python en AWS Glue

AWS Glue PySpark extensiones

AWS Glueha creado las siguientes extensiones del dialecto PySpark PySpark.

• Acceso a los parámetros mediante getResolvedOptions

• PySpark tipos de extensión

• DynamicFrame clase

• DynamicFrameCollection clase

• DynamicFrameWriter clase

• DynamicFrameReader clase

• GlueContext clase

AWS Glue PySpark transforma

AWS Glueha creado las siguientes clases clases transformación para que se para que se para para que se para para que PySpark se para para para para para para

• GlueTransform Clase de base

• ApplyMapping clase

• DropFields clase

• DropNullFields clase

• ErrorsAsDynamicFrame clase

• FillMissingValues clase

• Clase de filtro

• FindIncrementalMatches clase

• FindMatches clase

• FlatMap clase

• Clase Join

• Clase Map

• MapToCollection clase

• mergeDynamicFrame

• Clase Relationalize

• RenameField clase

• ResolveChoice clase

• SelectFields clase

• SelectFromCollection clase

• Clase Spigot

• SplitFields clase

• SplitRows clase

• Clase Unbox

• UnnestFrame clase