在 Scala 中编写 AWS Glue ETL 脚本
您可以在 GitHub 网站上的 AWS Glue 示例存储库
AWS Glue 支持使用 PySpark Scala 方言的扩展来编写提取、转换和加载(ETL)任务脚本。下面几节介绍如何在 ETL 脚本中使用 AWS Glue Scala 库和 AWS Glue API,并提供了用于库的参考文档。
目录
- 使用 Scala
- Scala 脚本示例
- Scala API 列表
- com.amazonaws.services.glue
- com.amazonaws.services.glue.ml
- com.amazonaws.services.glue.dq
- com.amazonaws.services.glue.types
- com.amazonaws.services.glue.util
- ChoiceOption
- DataSink
- 数据源特性
- DynamicFrame
- DynamicFrame 类
- errorsCount
- applyMapping
- assertErrorThreshold
- 计数
- dropField
- dropFields
- dropNulls
- errorsAsDynamicFrame
- 筛选条件
- getName
- getNumPartitions
- getSchemaIfComputed
- isSchemaComputed
- javaToPython
- 联接
- Map
- mergeDynamicFrames
- printSchema
- recomputeSchema
- Relationalize
- renameField
- Repartition
- resolveChoice
- 架构
- selectField
- selectFields
- Show
- SimplifyDDBJson
- Spigot
- splitFields
- Def splitRows
- stageErrorsCount
- toDF
- Unbox
- Unnest
- unnestDDBJson
- withFrameSchema
- Def withName
- withTransformationContext
- DynamicFrame 对象
- DynamicFrame 类
- DynamicRecord
- GlueContext
- MappingSpec
- ResolveSpec
- ArrayNode
- BinaryNode
- BooleanNode
- ByteNode
- DateNode
- DecimalNode
- DoubleNode
- DynamicNode
- EvaluateDataQuality
- FloatNode
- FillMissingValues
- FindMatches
- FindIncrementalMatches
- IntegerNode
- LongNode
- MapLikeNode
- MapNode
- NullNode
- ObjectNode
- ScalarNode
- ShortNode
- StringNode
- TimestampNode
- GlueArgParser
- 作业