在 Scala 中编写 AWS Glue ETL 脚本

您可以在 GitHub 网站上的 AWS Glue 示例存储库中找到 AWS Glue 的 Scala 代码示例和实用程序。

AWS Glue 支持使用 PySpark Scala 方言的扩展来编写提取、转换和加载（ETL）任务脚本。下面几节介绍如何在 ETL 脚本中使用 AWS Glue Scala 库和 AWS Glue API，并提供了用于库的参考文档。

目录

• 使用 Scala
  • 在 DevEndpoint 笔记本上测试
  • 在 DevEndpoint REPL 中测试
• Scala 脚本示例
• Scala API 列表
  • com.amazonaws.services.glue
  • com.amazonaws.services.glue.ml
  • com.amazonaws.services.glue.dq
  • com.amazonaws.services.glue.types
  • com.amazonaws.services.glue.util
  • ChoiceOption
    • ChoiceOption 特性
    • ChoiceOption 对象
      • Apply
    • ChoiceOptionWithResolver
    • MatchCatalogSchemaChoiceOption
  • DataSink
    • writeDynamicFrame
    • pyWriteDynamicFrame
    • writeDataFrame
    • pyWriteDataFrame
    • setCatalogInfo
    • supportsFormat
    • setFormat
    • withFormat
    • setAccumulableSize
    • getOutputErrorRecordsAccumulable
    • errorsAsDynamicFrame
    • DataSink 对象
      • recordMetrics
  • 数据源特性
  • DynamicFrame
    • DynamicFrame 类
      • errorsCount
      • applyMapping
      • assertErrorThreshold
      • 计数
      • dropField
      • dropFields
      • dropNulls
      • errorsAsDynamicFrame
      • 筛选条件
      • getName
      • getNumPartitions
      • getSchemaIfComputed
      • isSchemaComputed
      • javaToPython
      • 联接
      • Map
      • mergeDynamicFrames
      • printSchema
      • recomputeSchema
      • Relationalize
      • renameField
      • Repartition
      • resolveChoice
      • 架构
      • selectField
      • selectFields
      • Show
      • SimplifyDDBJson
      • Spigot
      • splitFields
      • Def splitRows
      • stageErrorsCount
      • toDF
      • Unbox
      • Unnest
      • unnestDDBJson
      • withFrameSchema
      • Def withName
      • withTransformationContext
    • DynamicFrame 对象
      • Def apply
      • Def emptyDynamicFrame
      • Def fromPythonRDD
      • Def ignoreErrors
      • Def inlineErrors
      • Def newFrameWithErrors
  • DynamicRecord
    • addField
    • dropField
    • setError
    • isError
    • getError
    • clearError
    • 写入
    • readFields
    • Clone
    • 架构
    • getRoot
    • toJson
    • getFieldNode
    • getField
    • hashCode
    • 等于
    • DynamicRecord 对象
      • Apply
    • RecordTraverser 特性
  • GlueContext
    • addIngestionTime专栏
    • createDataFrameFromOptions
    • forEachBatch
    • getCatalogSink
    • getCatalogSource
    • getJDBCSink
    • getSink
    • getSinkWith格式
    • getSource
    • getSourceWith格式
    • getSparkSession
    • startTransaction
    • commitTransaction
    • cancelTransaction
    • this
    • this
    • this
  • MappingSpec
    • MappingSpec case 类
    • MappingSpec 对象
    • orderingByTarget
    • Apply
    • Apply
    • Apply
  • ResolveSpec
    • ResolveSpec 对象
      • Def
      • Def
    • ResolveSpec case 类
      • Def 方法
  • ArrayNode
    • ArrayNode case 类
      • Def 方法
  • BinaryNode
    • BinaryNode case 类
      • Val 字段
      • Def 方法
  • BooleanNode
    • BooleanNode case 类
      • Val 字段
      • Def 方法
  • ByteNode
    • ByteNode case 类
      • Val 字段
      • Def 方法
  • DateNode
    • DateNode case 类
      • Val 字段
      • Def 方法
  • DecimalNode
    • DecimalNode case 类
      • Val 字段
      • Def 方法
  • DoubleNode
    • DoubleNode case 类
      • Val 字段
      • Def 方法
  • DynamicNode
    • DynamicNode 类
      • Def 方法
    • DynamicNode 对象
      • Def 方法
  • EvaluateDataQuality
    • apply
    • 示例
  • FloatNode
    • FloatNode case 类
      • Val 字段
      • Def 方法
  • FillMissingValues
    • Apply
  • FindMatches
    • Apply
  • FindIncrementalMatches
    • Apply
  • IntegerNode
    • IntegerNode case 类
      • Val 字段
      • Def 方法
  • LongNode
    • LongNode case 类
      • Val 字段
      • Def 方法
  • MapLikeNode
    • MapLikeNode 类
      • Def 方法
  • MapNode
    • MapNode case 类
      • Def 方法
  • NullNode
    • NullNode 类
    • NullNode case 对象
  • ObjectNode
    • ObjectNode 对象
      • Def 方法
    • ObjectNode case 类
      • Def 方法
  • ScalarNode
    • ScalarNode 类
      • Def 方法
    • ScalarNode 对象
      • Def 方法
  • ShortNode
    • ShortNode case 类
      • Val 字段
      • Def 方法
  • StringNode
    • StringNode case 类
      • Val 字段
      • Def 方法
  • TimestampNode
    • TimestampNode case 类
      • Val 字段
      • Def 方法
  • GlueArgParser
    • GlueArgParser 对象
      • Def 方法
  • 作业
    • Job 对象
      • Def 方法