Programmierung von AWS Glue-ETL-Skripts in Scala

Sie finden Scala-Codebeispiele und Hilfsprogramme für AWS Glue im AWS GlueBeispiel-Repository auf der GitHub Website.

AWS Glue unterstützt eine Erweiterung des PySpark Scala-Dialekts für Scripting-Extraktions-, Transformations- und Ladeaufträge (ETL). In den folgenden Abschnitten wird beschrieben, wie Sie die AWS Glue-Scala-Bibliothek und die AWS Glue-API in ETL-Skripts verwenden. Darüber wird eine Referenzdokumentation für die Bibliothek bereitgestellt.

Inhalt

• Verwenden von Scala

  • Testen auf einem Notebook DevEndpoint

  • Testen auf einer REPL DevEndpoint

• Beispiel für Scala-Skripte

• Scala-API-Liste

  • com.amazonaws.services.glue

  • com.amazonaws.services.glue.ml

  • com.amazonaws.services.glue.dq

  • com.amazonaws.services.glue.types

  • com.amazonaws.services.glue.util

  • ChoiceOption

    • ChoiceOption Merkmal

    • ChoiceOption Objekt

      • Anwenden

    • ChoiceOptionWithResolver

    • MatchCatalogSchemaChoiceOption

  • DataSink

    • writeDynamicFrame

    • pyWriteDynamicRahmen

    • writeDataFrame

    • pyWriteDataRahmen

    • setCatalogInfo

    • supportsFormat

    • setFormat

    • withFormat

    • setAccumulableSize

    • getOutputErrorRecordsAccumulable

    • errorsAsDynamicRahmen

    • DataSink Objekt

      • recordMetrics

  • DataSource Merkmal

  • DynamicFrame

    • DynamicFrame Klasse

      • errorsCount

      • applyMapping

      • assertErrorThreshold

      • Anzahl

      • dropField

      • dropFields

      • dropNulls

      • errorsAsDynamicRahmen

      • Filter

      • getName

      • getNumPartitions

      • getSchemaIfBerechnet

      • isSchemaComputed

      • javaToPython

      • Join

      • Zuordnung

      • mergeDynamicFrames

      • printSchema

      • recomputeSchema

      • Relationalize

      • renameField

      • Repartition

      • resolveChoice

      • Schema

      • selectField

      • selectFields

      • Anzeigen

      • Vereinfachen DDBJson

      • Spigot

      • splitFields

      • Def splitRows

      • stageErrorsCount

      • toDF

      • Unbox

      • Unnest

      • unnest DDBJson

      • withFrameSchema

      • Def withName

      • withTransformationContext

    • DynamicFrame Objekt

      • Def apply

      • Def emptyDynamicFrame

      • Def fromPythonRDD

      • Def ignoreErrors

      • Def inlineErrors

      • Def-Fehler newFrameWith

  • DynamicRecord

    • addField

    • dropField

    • setError

    • isError

    • getError

    • clearError

    • Schreiben

    • readFields

    • Klonen

    • Schema

    • getRoot

    • toJson

    • getFieldNode

    • getField

    • hashCode

    • Gleichheitszeichen

    • DynamicRecord Objekt

      • Anwenden

    • RecordTraverser Merkmal

  • GlueContext

    • addIngestionTimeSpalten

    • createDataFrameFromOptions

    • forEachBatch

    • getCatalogSink

    • getCatalogSource

    • bekommen JDBCSink

    • getSink

    • getSinkWithFormatieren

    • getSource

    • getSourceWithFormatieren

    • getSparkSession

    • startTransaction

    • commitTransaction

    • cancelTransaction

    • this

    • this

    • this

  • MappingSpec

    • MappingSpec Fallklasse

    • MappingSpec Objekt

    • orderingByTarget

    • Anwenden

    • Anwenden

    • Anwenden

  • ResolveSpec

    • ResolveSpec Objekt

      • Def

      • Def

    • ResolveSpec Fallklasse

      • Def-Methoden

  • ArrayNode

    • ArrayNode Fallklasse

      • Def-Methoden

  • BinaryNode

    • BinaryNode Fallklasse

      • Val-Felder

      • Def-Methoden

  • BooleanNode

    • BooleanNode Fallklasse

      • Val-Felder

      • Def-Methoden

  • ByteNode

    • ByteNode Fallklasse

      • Val-Felder

      • Def-Methoden

  • DateNode

    • DateNode Fallklasse

      • Val-Felder

      • Def-Methoden

  • DecimalNode

    • DecimalNode Fallklasse

      • Val-Felder

      • Def-Methoden

  • DoubleNode

    • DoubleNode Fallklasse

      • Val-Felder

      • Def-Methoden

  • DynamicNode

    • DynamicNode Klasse

      • Def-Methoden

    • DynamicNode Objekt

      • Def-Methoden

  • EvaluateDataQuality

    • apply

    • Beispiel

  • FloatNode

    • FloatNode Fallklasse

      • Val-Felder

      • Def-Methoden

  • FillMissingValues

    • Anwenden

  • FindMatches

    • Anwenden

  • FindIncrementalMatches

    • Anwenden

  • IntegerNode

    • IntegerNode Fallklasse

      • Val-Felder

      • Def-Methoden

  • LongNode

    • LongNode Fallklasse

      • Val-Felder

      • Def-Methoden

  • MapLikeNode

    • MapLikeNode Klasse

      • Def-Methoden

  • MapNode

    • MapNode Fallklasse

      • Def-Methoden

  • NullNode

    • NullNode Klasse

    • NullNode Case-Objekt

  • ObjectNode

    • ObjectNode Objekt

      • Def-Methoden

    • ObjectNode Fallklasse

      • Def-Methoden

  • ScalarNode

    • ScalarNode Klasse

      • Def-Methoden

    • ScalarNode Objekt

      • Def-Methoden

  • ShortNode

    • ShortNode Fallklasse

      • Val-Felder

      • Def-Methoden

  • StringNode

    • StringNode Fallklasse

      • Val-Felder

      • Def-Methoden

  • TimestampNode

    • TimestampNode Fallklasse

      • Val-Felder

      • Def-Methoden

  • GlueArgParser

    • GlueArgParser Objekt

      • Def-Methoden

  • Aufgabe

    • Auftragsobjekt

      • Def-Methoden