Programma gli script AWS Glue ETL in PySpark

Puoi trovare esempi di codice e utilità per Python AWS Glue nel repository degli AWS Glue esempi sul sito web. GitHub

Uso di Python con AWS Glue

AWS Glue supporta un'estensione del dialetto PySpark Python per lo scripting di lavori di estrazione, trasformazione e caricamento (ETL). In questa sezione viene descritto come usare Python negli script ETL con l'API AWS Glue.

• Configurazione per l'uso di Python con AWS Glue

• Chiamata di API AWS Glue in Python

• Uso di librerie Python con AWS Glue

• Esempi di codice Python in AWS Glue

AWS Glue PySpark estensioni

AWS Glueha creato le seguenti estensioni al dialetto PySpark Python.

• Accesso ai parametri utilizzando getResolvedOptions

• Tipi di estensione PySpark

• DynamicFrame classe

• Classe DynamicFrameCollection

• Classe DynamicFrameWriter

• DynamicFrameReader classe

• GlueContext classe

AWS Glue PySpark trasforma

AWS Glueha creato le seguenti classi di trasformazione da utilizzare nelle operazioni PySpark ETL.

• Classe di base GlueTransform

• Classe ApplyMapping

• Classe DropFields

• Classe DropNullFields

• Classe ErrorsAsDynamicFrame

• Classe FillMissingValues

• Classe filtro

• Classe FindIncrementalMatches

• Classe FindMatches

• Classe FlatMap

• Classe join

• Classe mappatura

• Classe MapToCollection

• mergeDynamicFrame

• Classe relazionalizzazione

• Classe RenameField

• Classe ResolveChoice

• Classe SelectFields

• Classe SelectFromCollection

• Classe Spigot

• Classe SplitFields

• Classe SplitRows

• Classe unbox

• Classe UnnestFrame