

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

# AWS Glue versi
<a name="release-notes"></a>

Anda dapat mengonfigurasi parameter AWS Glue versi saat menambahkan atau memperbarui pekerjaan. AWS Glue Versi ini menentukan versi Apache Spark dan Python yang mendukung. AWS Glue Versi Python menunjukkan versi yang didukung untuk pekerjaan jenis Spark. Tabel berikut mencantumkan versi AWS Glue yang tersedia, versi Spark dan Python yang sesuai, dan perubahan fungsi lainnya.

Anda dapat menggunakan [upgrade Generative AI untuk Apache Spark untuk](upgrade-analysis.md) meningkatkan pekerjaan Glue ETL Anda dari versi Glue yang lebih lama (≥ 2.0) ke versi Glue terbaru.

## AWS Glue versi
<a name="release-notes-versions"></a>

<a name="table-glue-versions"></a>

- **AWS Glue 5.1**
  - **Versi lingkungan runtime yang didukung:**  +  Percikan 3.5.6 <br />+  Python 3.11 <br />+  Scala 2.12.18  
  - **Versi Java yang didukung:** Jawa 17
  - **Perubahan fungsionalitas:** AWS Glue 5.1 adalah versi default untuk pekerjaan yang dibuat tanpa menentukan AWS Glue versi.<br />Selain peningkatan mesin percikan, ada pengoptimalan dan peningkatan yang dibangun ke dalam AWS Glue rilis ini, seperti:+  Format Tabel Terbuka (OTF) diperbarui ke Hudi 1.0.2, Iceberg 1.10.0, dan Delta Lake 3.3.2 <br />+  Format gunung es versi 3.0 <br />+  Hudi Full Table Access (FTA) dengan membaca dan menulis <br />+   DDL/DML Operasi kontrol akses halus (FGAC) asli Spark-native di tabel Hive, Iceberg, dan Delta Lake yang terdaftar di Lake Formation <br />+  Konteks audit untuk panggilan Glue dan Lake Formation API di CloudTrail log <br />+  Dukungan Iceberg Materialized Views 

- **AWS Glue 5.0**
  - **Versi lingkungan runtime yang didukung:**  +  Percikan 3.5.4 <br />+  Python 3.11 <br />+  Scala 2.12.18  
  - **Versi Java yang didukung:** Jawa 17
  - **Perubahan fungsionalitas:** Selain pembaruan kerangka kerja, ada pengoptimalan dan peningkatan yang dibangun ke dalam AWS Glue rilis ini, seperti:+  Dukungan Amazon SageMaker Unified Studio <br />+  Dukungan Amazon SageMaker Lakehouse <br />+  Format Tabel Terbuka (OTF) diperbarui ke Hudi 0.15.0, Iceberg 1.7.1, dan Delta Lake 3.3.0 <br />+  Kontrol akses berbutir halus asli percikan menggunakan Lake Formation. <br />+  Dukungan Hibah Akses Amazon S3 <br />+  `requirements.txt`dukungan untuk menginstal pustaka Python tambahan <br />+  Dukungan garis keturunan data di Amazon DataZone <br />+  Dukungan Bucket Meja Amazon S3 <br />+  AWS Glue Dukungan tampilan multi-dialek Katalog Data  Batasan Berikut ini adalah batasan dengan AWS Glue 5.0: +  Glue Dynamic Frame `GlueContext` /based table-level control dengan AWS Lake Formation izin yang didukung di Glue 4.0 atau sebelumnya tidak didukung di Glue 5.0. Gunakan [Spark native fine-grained access control (FGAC](https://docs.aws.amazon.com/glue/latest/dg/security-lf-enable.html)) baru di Glue 5.0. <br />Untuk informasi selengkapnya tentang migrasi ke AWS Glue versi 5.0, lihat[Migrating AWS Glue untuk pekerjaan Spark untuk AWS Glue versi 5.0](migrating-version-50.md).

- **AWS Glue 4.0**
  - **Versi lingkungan runtime yang didukung:**  Versi lingkungan percikan +  Spark 3.3.0 <br />+  Python 3.10   / **Versi Java yang didukung:** Java 8 / **Perubahan fungsionalitas:** AWS Glue 4.0 memiliki sejumlah pengoptimalan dan peningkatan yang dibangun ke dalam AWS Glue rilis ini, seperti:+  Banyak peningkatan fungsionalitas Spark dari Spark 3.1 ke Spark 3.3:   Beberapa peningkatan fungsionalitas saat dipasangkan dengan Panda. Untuk informasi selengkapnya, lihat [Apa yang Baru di Spark 3.3](https://spark.apache.org/releases/spark-release-3-3-0.html).   Pengoptimalan tambahan dikembangkan di Amazon EMR.   Tingkatkan ke Sistem File EMR (EMRFS) 2.53.   <br />+  Migrasi Log4j 2 dari Log4j 1.x <br />+  Beberapa pembaruan modul Python dari AWS Glue 3.0, seperti versi upgrade dari Boto. <br />+  Upgrade beberapa konektor, termasuk konektor Amazon Redshift default. Lihat [Lampiran C: Peningkatan konektor](migrating-version-40.md#migrating-version-40-appendix-connector). <br />+  Upgrade beberapa driver JDBC. Lihat [Lampiran B: Peningkatan driver JDBC](migrating-version-40.md#migrating-version-40-appendix-jdbc-driver). <br />+  Diperbarui dengan konektor Amazon Redshift baru dan driver JDBC. <br />+  Dukungan asli untuk kerangka kerja danau data terbuka dengan Apache Hudi, Delta Lake, dan Apache Iceberg. <br />+  Dukungan asli untuk Plugin Penyimpanan Cloud Shuffle berbasis Amazon S3 (plugin Apache Spark) untuk menggunakan Amazon S3 untuk pengocokan dan kapasitas penyimpanan elastis.  Batasan Berikut ini adalah batasan dengan AWS Glue 4.0: +  AWS Glue pembelajaran mesin dan transformasi informasi identifikasi pribadi (PII) belum tersedia di 4.0. AWS Glue  <br />Untuk informasi selengkapnya tentang migrasi ke AWS Glue versi 4.0, lihat[Migrasi AWS Glue untuk pekerjaan Spark ke versi 4.0 AWS Glue](migrating-version-40.md).
  - **Versi lingkungan runtime yang didukung:** Versi lingkungan Ray +  Sinar 2.4.0 <br />Python 3.9  / **Versi Java yang didukung:** N/A / **Perubahan fungsionalitas:** Membangun dan menjalankan aplikasi Python terdistribusi dengan AWS Glue untuk Ray.+  Mendukung distribusi data Ray-2.4.0 () `ray[data]` dengan Python 3.9. Untuk informasi lebih lanjut tentang rilis Ray ini, lihat [Ray-2.4.0](https://github.com/ray-project/ray/releases/tag/ray-2.4.0) di repositori Ray. GitHub  <br />+  Mendukung pemasangan pustaka Python tambahan ke lingkungan runtime. `Ray2.4` Untuk informasi selengkapnya, lihat [Modul Python tambahan untuk pekerjaan Ray](edit-script-ray-env-dependencies.md#edit-script-ray-python-libraries-additional). <br />+  Mengintegrasikan log dan metrik dari pekerjaan Ray dengan Amazon. CloudWatch Untuk informasi selengkapnya, lihat [Pemecahan masalah AWS Glue untuk kesalahan Ray dari log](troubleshooting-ray.md) dan [Memantau pekerjaan Ray dengan metrik](author-job-ray-monitor.md). <br />+  Mengagregat dan memvisualisasikan metrik untuk pekerjaan Ray di AWS Glue Studio, di setiap halaman menjalankan pekerjaan. <br />+  Mendukung distribusi file ke setiap direktori kerja di seluruh cluster Anda, menumpahkan objek dari penyimpanan objek Ray ke Amazon S3, dan mengontrol jumlah minimum node pekerja yang dialokasikan untuk pekerjaan Ray Anda. Untuk informasi selengkapnya, lihat [Menggunakan parameter pekerjaan di pekerjaan Ray](author-job-ray-job-parameters.md). <br />**Keterbatasan pada pekerjaan Ray di AWS Glue 4.0**+  AWS Glue sesi interaktif untuk Ray tetap dalam pratinjau untuk rilis ini. <br />+  AWS Glue untuk integrasi Ray dengan Amazon VPC saat ini tidak tersedia. Sumber daya dalam VPC tidak AWS akan dapat diakses tanpa rute umum. Untuk informasi selengkapnya tentang penggunaan AWS Glue dengan Amazon VPC, lihat. [Mengkonfigurasi titik akhir VPC antarmuka (AWS PrivateLink) untuk AWS Glue (AWS PrivateLink)](vpc-interface-endpoints.md) <br />+  AWS Glue untuk Ray tersedia di AS Timur (Virginia N.), AS Timur (Ohio), AS Barat (Oregon), Asia Pasifik (Tokyo), dan Eropa (Irlandia). 

- **AWS Glue 3.0**
  - **Versi lingkungan runtime yang didukung:**  +  Spark 3.1.1 <br />+  Python 3.7  
  - **Versi Java yang didukung:** Java 8
  - **Perubahan fungsionalitas:** Selain upgrade mesin Spark ke 3.0, ada pengoptimalan dan peningkatan yang dibangun ke dalam AWS Glue rilis ini, seperti:+  Membangun Perpustakaan AWS Glue ETL terhadap Spark 3.0, yang merupakan rilis utama untuk Spark. <br />+  Pekerjaan streaming didukung pada AWS Glue 3.0. <br />+  Termasuk optimasi runtime AWS Glue Spark baru untuk kinerja dan keandalan:   Pemrosesan kolumnar dalam memori yang lebih cepat berdasarkan Apache Arrow untuk membaca data CSV.   Eksekusi berbasis SIM untuk pembacaan vektor dengan data CSV.   Peningkatan Spark juga mencakup pengoptimalan tambahan yang dikembangkan di Amazon EMR.   EMRFS yang ditingkatkan dari 2,38 menjadi 2,46 memungkinkan fitur baru dan perbaikan bug untuk akses Amazon S3.   <br />+  Memutakhirkan beberapa dependensi yang diperlukan untuk versi Spark baru. <br />+  Driver JDBC yang ditingkatkan untuk sumber data kami yang didukung secara native.  Batasan Berikut ini adalah batasan dengan AWS Glue 3.0: +  AWS Glue Transformasi pembelajaran mesin belum tersedia di AWS Glue 3.0. <br />+  Beberapa konektor Spark khusus tidak berfungsi dengan AWS Glue 3.0 jika bergantung pada Spark 2.4 dan tidak memiliki kompatibilitas dengan Spark 3.1. 

- **AWS Glue 2.0 ([akhir kehidupan pada 1 April 2026)](https://docs.aws.amazon.com/glue/latest/dg/glue-version-support-policy.html)**
  - **Versi lingkungan runtime yang didukung:**  +  Spark versi 2.4.3 <br />+  Python 3.7  
  - **Versi Java yang didukung:** N/A
  - **Perubahan fungsionalitas:** Selain fitur yang disediakan dalam AWS Glue versi 1.0, AWS Glue versi 2.0 juga menyediakan:+  Infrastruktur yang ditingkatkan untuk menjalankan pekerjaan Apache Spark ETL AWS Glue dengan waktu startup yang berkurang. <br />+  Pencatatan default sekarang real time, dengan aliran terpisah untuk driver dan pelaksana, serta output dan kesalahan.  <br />+  Support untuk menentukan modul Python tambahan atau versi yang berbeda pada tingkat tugas.  AWS Glue versi 2.0 berbeda dari AWS Glue versi 1.0 untuk beberapa dependensi dan versi karena perubahan arsitektur yang mendasarinya. Validasi AWS Glue pekerjaan Anda sebelum bermigrasi di seluruh rilis AWS Glue versi utama. 

- **AWS Glue 1.0 ([akhir kehidupan pada 1 April 2026)](https://docs.aws.amazon.com/glue/latest/dg/glue-version-support-policy.html)**
  - **Versi lingkungan runtime yang didukung:**  +  Spark versi 2.4.3 <br />+  Python 2.7 <br />+  Python 3.6  
  - **Versi Java yang didukung:** N/A
  - **Perubahan fungsionalitas:** Anda dapat menyimpan bookmark tugas untuk format Parket dan ORC di tugas ETL AWS Glue (menggunakan AWS Glue versi 1.0). Sebelumnya, Anda hanya dapat menandai format sumber Amazon S3 umum seperti JSON, CSV, Apache Avro, dan XMLdalam pekerjaan ETL. AWS Glue <br />Saat mengatur opsi format untuk input dan output ETL, Anda dapat menentukan untuk menggunakan Apache Avro reader/writer format 1.8 untuk mendukung pembacaan dan penulisan tipe logis Avro (menggunakan versi 1.0). AWS Glue Sebelumnya, hanya versi 1.7 reader/writer format Avro yang didukung.<br />Jenis koneksi DynamoDB mendukung opsi penulis ( AWS Glue menggunakan versi 1.0). Batasan Berikut ini adalah batasan dengan AWS Glue 1.0: +  AWS Glue Versi 0.9 dan 1.0 tidak tersedia di Asia Pasifik (Jakarta) (`ap-southeast-3`), Timur Tengah (UEA) (`me-central-1`), atau Wilayah baru lainnya di masa mendatang. 

- **AWS Glue 0.9 ([akhir hayat pada 1 April 2026](https://docs.aws.amazon.com/glue/latest/dg/glue-version-support-policy.html))**
  - **Versi lingkungan runtime yang didukung:**  +  Spark versi 2.2.1 <br />+  Python 2.7  
  - **Versi Java yang didukung:** N/A
  - **Perubahan fungsionalitas:**   Batasan Berikut ini adalah batasan dengan AWS Glue 0,9:  +  AWS Glue Versi 0.9 dan 1.0 tidak tersedia di Asia Pasifik (Jakarta) (`ap-southeast-3`), Timur Tengah (UEA) (`me-central-1`), atau Wilayah baru lainnya di masa mendatang.  



**catatan**  
Versi Glue berikut mendukung versi ini dari PythonShell:  
PythonShell v3.6 didukung dalam Glue versi 1.0.
PythonShell v3.9 didukung di Glue versi 3.0.
Selain itu, titik akhir dev hanya didukung di Glue versi 1.0, dan 0.9.