Programmazione di script ETL di AWS Glue in PySpark

Puoi trovare esempi di codice Python e utilità perAWS nel repository di esempi AWS Glue nel sito Web GitHub.

Utilizzo di Python con AWS Glue

AWS Glue supporta un'estensione del dialetto Python PySpark per lo scripting dei processi di estrazione, trasformazione e caricamento (ETL). In questa sezione viene descritto come usare Python negli script ETL con l'API AWS Glue.

• Configurazione per l'uso di Python con AWS Glue

• Chiamata di API AWS Glue in Python

• Usare le librerie Python con Glue AWS

• Esempi di codice Python in AWS Glue

Estensioni PySpark di AWS Glue

AWS Glue ha creato le estensioni seguenti per il dialetto PySpark Python.

• Accesso ai parametri utilizzando getResolvedOptions

• Tipi di estensione PySpark

• DynamicFrame classe

• Classe DynamicFrameCollection

• Classe DynamicFrameWriter

• Classe DynamicFrameReader

• Classe GlueContext

Trasformazioni PySpark di AWS Glue

AWS Glue ha creato le classi di trasformazione seguenti da usare nelle operazioni ETL PySpark.

• Classe di base GlueTransform

• Classe ApplyMapping

• Classe DropFields

• Classe DropNullFields

• Classe ErrorsAsDynamicFrame

• Classe FillMissingValues

• Classe filtro

• Classe FindIncrementalMatches

• Classe FindMatches

• Classe FlatMap

• Classe join

• Classe mappatura

• Classe MapToCollection

• mergeDynamicFrame

• Classe relazionalizzazione

• Classe RenameField

• Classe ResolveChoice

• Classe SelectFields

• Classe SelectFromCollection

• Classe Spigot

• Classe SplitFields

• Classe SplitRows

• Classe unbox

• Classe UnnestFrame