Programma gli script ETL di AWS Glue in PySpark

Puoi trovare esempi di codice Python e utilità per AWS Glue nel repository degli esempi di AWS Glue sul sito web. GitHub

Usare Python con Glue AWS

AWS Glue supporta un'estensione del dialetto PySpark Python per lo scripting di lavori di estrazione, trasformazione e caricamento (ETL). Questa sezione descrive come usare Python negli script ETL e con l'API Glue. AWS

• Configurazione per usare Python con AWS Glue

• Chiamata AWS Glue APIs in Python

• Usare le librerie Python con Glue AWS

• AWS Glue Esempi di codice Python

AWS PySpark Estensioni Glue

AWS Glue ha creato le seguenti estensioni al PySpark dialetto Python.

• Accesso ai parametri utilizzando getResolvedOptions

• PySpark tipi di estensione

• DynamicFrame classe

• DynamicFrameCollection classe

• DynamicFrameWriter classe

• DynamicFrameReader classe

• GlueContext classe

AWS Glue si PySpark trasforma

AWS Glue ha creato le seguenti classi di trasformazione da utilizzare nelle operazioni PySpark ETL.

• GlueTransform classe base

• ApplyMapping classe

• DropFields classe

• DropNullFields classe

• ErrorsAsDynamicFrame classe

• FillMissingValues classe

• Classe filtro

• FindIncrementalMatches classe

• FindMatches classe

• FlatMap classe

• Classe join

• Classe mappatura

• MapToCollection classe

• mergeDynamicFrame

• Classe relazionalizzazione

• RenameField classe

• ResolveChoice classe

• SelectFields classe

• SelectFromCollection classe

• Classe Spigot

• SplitFields classe

• SplitRows classe

• Classe unbox

• UnnestFrame classe