Program skrip AWS Glue ETL di PySpark

Anda dapat menemukan contoh kode Python dan utilitas untuk AWS Glue di repositori AWS Glue sampel di situs web. GitHub

Menggunakan Python dengan AWS Glue

AWS Glue mendukung perpanjangan dialek PySpark Python untuk pekerjaan scripting extract, transform, and load (ETL). Bagian ini menjelaskan cara menggunakan Python dalam skrip ETL dan dengan API. AWS Glue

• Menyiapkan untuk menggunakan Python dengan AWS Glue

• Memanggil AWS Glue API dengan Python

• Menggunakan pustaka Python dengan AWS Glue

• AWS GlueContoh kode Python

AWS Glue PySpark ekstensi

AWS Gluetelah membuat ekstensi berikut untuk dialek PySpark Python.

• Mengakses parameter menggunakan getResolvedOptions

• PySpark jenis ekstensi

• DynamicFrame kelas

• DynamicFrameCollection kelas

• DynamicFrameWriter kelas

• DynamicFrameReader kelas

• GlueContext kelas

AWS Glue PySpark mengubah

AWS Gluetelah menciptakan Kelas transformasi berikut untuk digunakan dalam operasi PySpark ETL.

• GlueTransform kelas dasar

• ApplyMapping kelas

• DropFields kelas

• DropNullFields kelas

• ErrorsAsDynamicFrame kelas

• FillMissingValues kelas

• Kelas filter

• FindIncrementalMatches kelas

• FindMatches kelas

• FlatMap kelas

• Bergabunglah dengan kelas

• Kelas peta

• MapToCollection kelas

• mergeDynamicFrame

• Relationalisasi kelas

• RenameField kelas

• ResolveChoice kelas

• SelectFields kelas

• SelectFromCollection kelas

• Kelas keran

• SplitFields kelas

• SplitRows kelas

• Kelas buka kotak

• UnnestFrame kelas