AWS Glue PySpark 转换参考

AWS Glue 提供了以下可在 PySpark ETL 操作中使用的内置转换。您的数据在一个称为 DynamicFrame 的数据结构中从转换传递到转换，该数据结构是 Apache Spark SQL DataFrame 的扩展。DynamicFrame 包含您的数据，并引用其架构来处理您的数据。

此外，其中的大多数转换也将作为 DynamicFrame 类的方法存在。更多相关信息，请参阅 DynamicFrame 转换。

• GlueTransform 基类

• ApplyMapping 类

• DropFields 类

• DropNullFields 类

• ErrorsAsDynamicFrame 类

• EvaluateDataQuality 类

• FillMissingValues 类

• Filter 类

• FindIncrementalMatches 类

• FindMatches 类

• FlatMap 类

• Join 类

• Map 类

• MapToCollection 类

• mergeDynamicFrame

• Relationalize 类

• RenameField 类

• ResolveChoice 类

• SelectFields 类

• SelectFromCollection 类

• Spigot 类

• SplitFields 类

• SplitRows 类

• Unbox 类

• UnnestFrame 类