在 Scala 中進行 AWS Glue ETL 指令碼程式設計

您可以在 GitHub 網站上的 AWS Glue 範例儲存庫中，找到適用於 AWS Glue 的 Scala 程式碼範例與公用程式。

AWS Glue 支援 PySpark Scala 方言的延伸模組，適用於編寫擷取、轉換和載入 (ETL) 任務的指令碼。以下部分說明如何使用 ETL 指令碼的 AWS Glue Scala 程式庫和 AWS Glue API，並提供該程式庫的參考文件。

內容

• 使用 Scala
  • 在 DevEndpoint 筆記本上測試
  • 在 DevEndpoint REPL 上測試
• Scala 指令碼範例
• Scala API 清單
  • com.amazonaws.services.glue
  • com.amazonaws.services.glue.ml
  • com.amazonaws.services.glue.dq
  • com.amazonaws.services.glue.types
  • com.amazonaws.services.glue.util
  • ChoiceOption
    • ChoiceOption 特徵
    • ChoiceOption 物件
      • 套用
    • ChoiceOptionWithResolver
    • MatchCatalogSchemaChoiceOption
  • DataSink
    • writeDynamicFrame
    • pyWriteDynamicFrame
    • writeDataFrame
    • pyWriteDataFrame
    • setCatalogInfo
    • supportsFormat
    • setFormat
    • withFormat
    • setAccumulableSize
    • getOutputErrorRecordsAccumulable
    • errorsAsDynamicFrame
    • DataSink 物件
      • recordMetrics
  • DataSource 特徵
  • DynamicFrame
    • DynamicFrame 類別
      • errorsCount
      • applyMapping
      • assertErrorThreshold
      • 計數
      • dropField
      • dropFields
      • dropNulls
      • errorsAsDynamic框架
      • 篩選條件
      • getName
      • getNumPartitions
      • getSchemaIf计算
      • isSchemaComputed
      • javaToPython
      • Join
      • Map
      • mergeDynamicFrames
      • printSchema
      • recomputeSchema
      • Relationalize
      • renameField
      • Repartition
      • resolveChoice
      • 結構描述
      • selectField
      • selectFields
      • Show
      • 簡化
      • Spigot
      • splitFields
      • Def splitRows
      • stageErrorsCount
      • toDF
      • Unbox
      • Unnest
      • unnestDDBJson
      • withFrameSchema
      • Def withName
      • withTransformationContext
    • DynamicFrame 物件
      • Def apply
      • Def emptyDynamicFrame
      • Def fromPythonRDD
      • Def ignoreErrors
      • Def inlineErrors
      • Def newFrameWithErrors
  • DynamicRecord
    • addField
    • dropField
    • setError
    • isError
    • getError
    • clearError
    • 寫入
    • readFields
    • 複製
    • 結構描述
    • getRoot
    • toJson
    • getFieldNode
    • getField
    • hashCode
    • 等號
    • DynamicRecord 物件
      • 套用
    • RecordTraverser 特徵
  • GlueContext
    • addIngestionTime。列。
    • createDataFrameFromOptions
    • forEachBatch
    • getCatalogSink
    • getCatalogSource
    • getJDBCSink
    • getSink
    • getSinkWith格式
    • getSource
    • getSourceWith格式
    • getSparkSession
    • startTransaction
    • commitTransaction
    • cancelTransaction
    • this
    • this
    • this
  • MappingSpec
    • MappingSpec 案例類別
    • MappingSpec 物件
    • orderingByTarget
    • 套用
    • 套用
    • 套用
  • ResolveSpec
    • ResolveSpec 物件
      • Def
      • Def
    • ResolveSpec 案例類別
      • Def 方法
  • ArrayNode
    • ArrayNode 案例類別
      • Def 方法
  • BinaryNode
    • BinaryNode 案例類別
      • Val 欄位
      • Def 方法
  • BooleanNode
    • BooleanNode 案例類別
      • Val 欄位
      • Def 方法
  • ByteNode
    • ByteNode 案例類別
      • Val 欄位
      • Def 方法
  • DateNode
    • DateNode 案例類別
      • Val 欄位
      • Def 方法
  • DecimalNode
    • DecimalNode 案例類別
      • Val 欄位
      • Def 方法
  • DoubleNode
    • DoubleNode 案例類別
      • Val 欄位
      • Def 方法
  • DynamicNode
    • DynamicNode 類別
      • Def 方法
    • DynamicNode 物件
      • Def 方法
  • EvaluateDataQuality
    • apply
    • 範例
  • FloatNode
    • FloatNode 案例類別
      • Val 欄位
      • Def 方法
  • FillMissingValues
    • 套用
  • FindMatches
    • 套用
  • FindIncrementalMatches
    • 套用
  • IntegerNode
    • IntegerNode 案例類別
      • Val 欄位
      • Def 方法
  • LongNode
    • LongNode 案例類別
      • Val 欄位
      • Def 方法
  • MapLikeNode
    • MapLikeNode 類別
      • Def 方法
  • MapNode
    • MapNode 案例類別
      • Def 方法
  • NullNode
    • NullNode 類別
    • NullNode 案例物件
  • ObjectNode
    • ObjectNode 物件
      • Def 方法
    • ObjectNode 案例類別
      • Def 方法
  • ScalarNode
    • ScalarNode 類別
      • Def 方法
    • ScalarNode 物件
      • Def 方法
  • ShortNode
    • ShortNode 案例類別
      • Val 欄位
      • Def 方法
  • StringNode
    • StringNode 案例類別
      • Val 欄位
      • Def 方法
  • TimestampNode
    • TimestampNode 案例類別
      • Val 欄位
      • Def 方法
  • GlueArgParser
    • GlueArgParser 物件
      • Def 方法
  • 任務
    • 任務物件
      • Def 方法