Mengedit skrip Spark di konsol AWS Glue

Skrip berisi kode yang mengekstrak data dari sumber, mengubahnya, dan memuatnya menjadi target. AWS Glue menjalankan skrip ketika memulai pekerjaan.

AWS GlueETLskrip dapat dikodekan dengan Python atau Scala. Skrip Python menggunakan bahasa yang merupakan perpanjangan dari dialek PySpark Python untuk mengekstrak, mengubah, dan memuat () pekerjaan. ETL Skrip berisi konstruksi yang diperluas untuk menangani ETL transformasi. Ketika Anda secara otomatis membuat logika kode sumber untuk tugas Anda, sebuah skrip dibuat. Anda dapat mengedit skrip ini, atau Anda dapat memberikan skrip Anda sendiri untuk memproses ETL pekerjaan Anda.

Untuk informasi tentang mendefinisikan dan mengedit skripAWS Glue, lihat. AWS Glue panduan pemrograman

Pustaka atau file tambahan

Jika skrip Anda memerlukan perpustakaan atau file tambahan, Anda dapat menentukannya sebagai berikut:

Path perpustakaan Python

Path Amazon Simple Storage Service (Amazon S3) yang dipisahkan koma ke perpustakaan Python yang diperlukan oleh skrip.

catatan

Hanya perpustakaan Python murni yang dapat digunakan. Perpustakaan yang mengandalkan ekstensi C, seperti Perpustakaan Analisis Data Python, yakni pandas, saat ini tidak didukung.

Path jar dependen

Jalur Amazon S3 yang dipisahkan koma JAR ke file yang diperlukan oleh skrip.

catatan

Saat ini, hanya perpustakaan murni Java atau Scala (2.11) yang dapat digunakan.

Path file yang direferensikan

Path Amazon S3 yang dipisahkan koma untuk file tambahan (misalnya, file konfigurasi) yang diperlukan oleh skrip.