在 Scala 中编写 AWS Glue ETL 脚本

您可以在 GitHub 网站的示例存储库AWS Glue中找到 Scala 代码示例和实用工具。AWS Glue

AWSGlue 支持 S PySpark cala 方言的扩展，用于脚本提取、转换和加载 (ETL) 作业。下面几节介绍如何在 ETL 脚本中使用 AWS Glue Scala 库和 AWS Glue API，并提供了用于库的参考文档。

目录

• 使用 Scala
  • 在 DevEndpoint 笔记本电脑上测试
  • 在 DevEndpoint REPL 上进行测试
• Scala 脚本示例
• Scala API 列表
  • com.amazonaws.services.glue
  • com.amazonaws.services.glue.ml
  • com.amazonaws.services.glue.dq
  • com.amazonaws.services.glue.types
  • com.amazonaws.services.glue.util
  • ChoiceOption
    • ChoiceOption 特征
    • ChoiceOption 对象
      • Apply
    • ChoiceOptionWithResolver
    • MatchCatalogSchemaChoiceOption
  • DataSink
    • writeDynamicFrame
    • pyWriteDynamic框架
    • writeDataFrame
    • pyWriteData框架
    • setCatalogInfo
    • supportsFormat
    • setFormat
    • withFormat
    • setAccumulableSize
    • getOutputErrorRecordsAccumulable
    • errorsAsDynamic框架
    • DataSink 对象
      • recordMetrics
  • DataSource 特征
  • DynamicFrame
    • DynamicFrame 班级
      • errorsCount
      • applyMapping
      • assertErrorThreshold
      • 计数
      • dropField
      • dropFields
      • dropNulls
      • errorsAsDynamic框架
      • 筛选条件
      • getName
      • getNumPartitions
      • getSchemaIf已计算
      • isSchemaComputed
      • javaToPython
      • Join
      • 映射
      • mergeDynamicFrames
      • printSchema
      • recomputeSchema
      • Relationalize
      • renameField
      • Repartition
      • resolveChoice
      • 架构
      • selectField
      • selectFields
      • Show
      • Spigot
      • splitFields
      • Def splitRows
      • stageErrorsCount
      • toDF
      • Unbox
      • Unnest
      • unnestDDBJson
      • withFrameSchema
      • Def withName
      • withTransformationContext
    • DynamicFrame 对象
      • Def apply
      • Def emptyDynamicFrame
      • Def fromPythonRDD
      • Def ignoreErrors
      • Def inlineErrors
      • Def 错误 newFrameWith
  • DynamicRecord
    • addField
    • dropField
    • setError
    • isError
    • getError
    • clearError
    • Write
    • readFields
    • Clone
    • 架构
    • getRoot
    • toJson
    • getFieldNode
    • getField
    • hashCode
    • 等于
    • DynamicRecord 对象
      • Apply
    • RecordTraverser 特征
  • GlueContext
    • addIngestionTime专栏
    • createDataFrameFromOptions
    • forEachBatch
    • getCatalogSink
    • getCatalogSource
    • getJDBCSink
    • getSink
    • getSinkWith格式
    • getSource
    • getSourceWith格式
    • getSparkSession
    • startTransaction
    • commitTransaction
    • cancelTransaction
    • this
    • this
    • this
  • MappingSpec
    • MappingSpec 案例类
    • MappingSpec 对象
    • orderingByTarget
    • Apply
    • Apply
    • Apply
  • ResolveSpec
    • ResolveSpec 对象
      • Def
      • Def
    • ResolveSpec 案例类
      • Def 方法
  • ArrayNode
    • ArrayNode 案例类
      • Def 方法
  • BinaryNode
    • BinaryNode 案例类
      • Val 字段
      • Def 方法
  • BooleanNode
    • BooleanNode 案例类
      • Val 字段
      • Def 方法
  • ByteNode
    • ByteNode 案例类
      • Val 字段
      • Def 方法
  • DateNode
    • DateNode 案例类
      • Val 字段
      • Def 方法
  • DecimalNode
    • DecimalNode 案例类
      • Val 字段
      • Def 方法
  • DoubleNode
    • DoubleNode 案例类
      • Val 字段
      • Def 方法
  • DynamicNode
    • DynamicNode 班级
      • Def 方法
    • DynamicNode 对象
      • Def 方法
  • EvaluateDataQuality
    • apply
    • 示例
  • FloatNode
    • FloatNode 案例类
      • Val 字段
      • Def 方法
  • FillMissingValues
    • Apply
  • FindMatches
    • Apply
  • FindIncrementalMatches
    • Apply
  • IntegerNode
    • IntegerNode 案例类
      • Val 字段
      • Def 方法
  • LongNode
    • LongNode 案例类
      • Val 字段
      • Def 方法
  • MapLikeNode
    • MapLikeNode 班级
      • Def 方法
  • MapNode
    • MapNode 案例类
      • Def 方法
  • NullNode
    • NullNode 班级
    • NullNode 案例对象
  • ObjectNode
    • ObjectNode 对象
      • Def 方法
    • ObjectNode 案例类
      • Def 方法
  • ScalarNode
    • ScalarNode 班级
      • Def 方法
    • ScalarNode 对象
      • Def 方法
  • ShortNode
    • ShortNode 案例类
      • Val 字段
      • Def 方法
  • StringNode
    • StringNode 案例类
      • Val 字段
      • Def 方法
  • TimestampNode
    • TimestampNode 案例类
      • Val 字段
      • Def 方法
  • GlueArgParser
    • GlueArgParser 对象
      • Def 方法
  • 任务
    • Job 对象
      • Def 方法