Pemrograman skrip Spark - AWS Glue

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Pemrograman skrip Spark

AWS Gluemembuatnya mudah untuk menulis atau membuat otomatis skrip ekstrak, transformasi, dan memuat (ETL), selain menguji dan menjalankannya. Bagian ini menjelaskan ekstensi ke Apache Spark yang AWS Glue telah diperkenalkan, dan memberikan contoh cara membuat kode dan menjalankan skrip ETL dengan Python dan Scala.

penting

Versi AWS Glue yang berbeda men-support versi Apache Spark yang berbeda. Skrip kustom Anda harus kompatibel dengan versi Apache Spark yang didukung. Untuk informasi selengkapnya tentang versi AWS Glue, lihat Glue version job property.