AWS Glue PySpark transforma la referencia

AWS Glue proporciona las siguientes transformaciones integradas que puede utilizar en las operaciones de PySpark ETL. Los datos pasan de una transformación a otra en una estructura de datos denominada a DynamicFrame, que es una extensión de un Apache Spark SQLDataFrame. DynamicFrame contiene sus datos y usted hace referencia a su esquema para procesar los datos.

La mayoría de estas transformaciones también existen como métodos de la clase DynamicFrame. Para obtener más información, consulte DynamicFrame transformaciones.

• Clase de base GlueTransform

• Clase ApplyMapping

• Clase DropFields

• Clase DropNullFields

• Clase ErrorsAsDynamicFrame

• Clase de EvaluateDataQuality

• Clase FillMissingValues

• Clase de filtro

• Clase FindIncrementalMatches

• Clase FindMatches

• Clase FlatMap

• Clase Join

• Clase Map

• Clase MapToCollection

• mergeDynamicFrame

• Clase Relationalize

• Clase RenameField

• Clase ResolveChoice

• Clase SelectFields

• Clase SelectFromCollection

• Clase Simplify_DDB_JSON

• Clase Spigot

• Clase SplitFields

• Clase SplitRows

• Clase Unbox

• Clase UnnestFrame