在 Scala 中编写 AWS Glue ETL 脚本

您可以在 GitHub 网站上的 AWS Glue 示例存储库中找到 AWS Glue 的 Scala 代码示例和实用程序。

AWS Glue 支持使用 PySpark Scala 方言的扩展来编写提取、转换和加载（ETL）任务脚本。下面几节介绍如何在 ETL 脚本中使用 AWS Glue Scala 库和 AWS Glue API，并提供了用于库的参考文档。

目录

• 使用 Scala

  • 在 DevEndpoint 笔记本上测试

  • 在 DevEndpoint REPL 中测试

• Scala 脚本示例

• Scala API 列表

  • com.amazonaws.services.glue

  • com.amazonaws.services.glue.ml

  • com.amazonaws.services.glue.dq

  • com.amazonaws.services.glue.types

  • com.amazonaws.services.glue.util

  • ChoiceOption

    • ChoiceOption 特性

    • ChoiceOption 对象

      • Apply

    • ChoiceOptionWithResolver

    • MatchCatalogSchemaChoiceOption

  • DataSink

    • writeDynamicFrame

    • pyWriteDynamicFrame

    • writeDataFrame

    • pyWriteDataFrame

    • setCatalogInfo

    • supportsFormat

    • setFormat

    • withFormat

    • setAccumulableSize

    • getOutputErrorRecordsAccumulable

    • errorsAsDynamicFrame

    • DataSink 对象

      • recordMetrics

  • 数据源特性

  • DynamicFrame

    • DynamicFrame 类

      • errorsCount

      • applyMapping

      • assertErrorThreshold

      • 计数

      • dropField

      • dropFields

      • dropNulls

      • errorsAsDynamicFrame

      • 筛选条件

      • getName

      • getNumPartitions

      • getSchemaIfComputed

      • isSchemaComputed

      • javaToPython

      • 联接

      • Map

      • mergeDynamicFrames

      • printSchema

      • recomputeSchema

      • Relationalize

      • renameField

      • Repartition

      • resolveChoice

      • 架构

      • selectField

      • selectFields

      • Show

      • SimplifyDDBJson

      • Spigot

      • splitFields

      • Def splitRows

      • stageErrorsCount

      • toDF

      • Unbox

      • Unnest

      • unnestDDBJson

      • withFrameSchema

      • Def withName

      • withTransformationContext

    • DynamicFrame 对象

      • Def apply

      • Def emptyDynamicFrame

      • Def fromPythonRDD

      • Def ignoreErrors

      • Def inlineErrors

      • Def newFrameWithErrors

  • DynamicRecord

    • addField

    • dropField

    • setError

    • isError

    • getError

    • clearError

    • 写入

    • readFields

    • Clone

    • 架构

    • getRoot

    • toJson

    • getFieldNode

    • getField

    • hashCode

    • 等于

    • DynamicRecord 对象

      • Apply

    • RecordTraverser 特性

  • GlueContext

    • addIngestionTimeColumns

    • createDataFrameFromOptions

    • forEachBatch

    • getCatalogSink

    • getCatalogSource

    • getJDBCSink

    • getSink

    • getSinkWithFormat

    • getSource

    • getSourceWithFormat

    • getSparkSession

    • startTransaction

    • commitTransaction

    • cancelTransaction

    • this

    • this

    • this

  • MappingSpec

    • MappingSpec case 类

    • MappingSpec 对象

    • orderingByTarget

    • Apply

    • Apply

    • Apply

  • ResolveSpec

    • ResolveSpec 对象

      • Def

      • Def

    • ResolveSpec case 类

      • Def 方法

  • ArrayNode

    • ArrayNode case 类

      • Def 方法

  • BinaryNode

    • BinaryNode case 类

      • Val 字段

      • Def 方法

  • BooleanNode

    • BooleanNode case 类

      • Val 字段

      • Def 方法

  • ByteNode

    • ByteNode case 类

      • Val 字段

      • Def 方法

  • DateNode

    • DateNode case 类

      • Val 字段

      • Def 方法

  • DecimalNode

    • DecimalNode case 类

      • Val 字段

      • Def 方法

  • DoubleNode

    • DoubleNode case 类

      • Val 字段

      • Def 方法

  • DynamicNode

    • DynamicNode 类

      • Def 方法

    • DynamicNode 对象

      • Def 方法

  • EvaluateDataQuality

    • apply

    • 示例

  • FloatNode

    • FloatNode case 类

      • Val 字段

      • Def 方法

  • FillMissingValues

    • Apply

  • FindMatches

    • Apply

  • FindIncrementalMatches

    • Apply

  • IntegerNode

    • IntegerNode case 类

      • Val 字段

      • Def 方法

  • LongNode

    • LongNode case 类

      • Val 字段

      • Def 方法

  • MapLikeNode

    • MapLikeNode 类

      • Def 方法

  • MapNode

    • MapNode case 类

      • Def 方法

  • NullNode

    • NullNode 类

    • NullNode case 对象

  • ObjectNode

    • ObjectNode 对象

      • Def 方法

    • ObjectNode case 类

      • Def 方法

  • ScalarNode

    • ScalarNode 类

      • Def 方法

    • ScalarNode 对象

      • Def 方法

  • ShortNode

    • ShortNode case 类

      • Val 字段

      • Def 方法

  • StringNode

    • StringNode case 类

      • Val 字段

      • Def 方法

  • TimestampNode

    • TimestampNode case 类

      • Val 字段

      • Def 方法

  • GlueArgParser

    • GlueArgParser 对象

      • Def 方法

  • 作业

    • Job 对象

      • Def 方法