Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra. # AWS Glue versions Vous pouvez configurer le paramètre de AWS Glue version lorsque vous ajoutez ou mettez à jour une tâche. La AWS Glue version détermine les versions d'Apache Spark et de Python qui sont prises AWS Glue en charge. La version de Python indique la version qui est prise en charge pour les tâches de type Spark. Le tableau suivant répertorie les versions d' AWS Glue Glue disponibles, les versions Spark et Python correspondantes, ainsi que les autres modifications de fonctionnalité. Vous pouvez utiliser les mises à niveau de [ Generative AI pour Apache Spark pour mettre ](upgrade-analysis.md) à niveau vos tâches ETL Glue depuis les anciennes versions de Glue (≥ 2.0) vers la dernière version de Glue. ## AWS Glue versions - **AWS Glue 6,0** - **Versions d'environnement d'exécution prises en charge:** + Spark 4.1.1
+ Python 3.13
+ Échelle 2.13.17 - **Version Java prise en charge:** Java 17 - **Changements de fonctionnalité:** Outre la mise à niveau du moteur Spark, cette AWS Glue version intègre des optimisations et des mises à niveau, telles que :+ Formats de table ouverts (OTF) mis à jour vers Hudi 1.1.1, Iceberg 1.11.0 et Delta Lake 4.2.0
+ Format Iceberg version 3 avec type de données VARIANT, vecteurs de suppression, suivi du lignage des lignes, horodatages à la nanoseconde et types géographiques
+ Spark Declarative Pipelines (SDP) pour la création d'ETL déclarative en SQL et Python
+ Real-time mode pour le streaming sans état avec une latence de l'ordre de la milliseconde
+ Spark Connect pour les sessions interactives
+ Arrow-native UDF et UDTF Python
+ Customer-managed Environnement virtuel Python (`--python-virtual-env`)
+ AWS SDK pour Java v2 uniquement (v1 supprimée)
+ EMRFS supprimé ; S3A est le seul connecteur S3 - **AWS Glue 5.1** - **Versions d'environnement d'exécution prises en charge:** + Spark 3.5.6
+ Python 3.11
+ Échelle 2.12.18 - **Version Java prise en charge:** Java 17 - **Changements de fonctionnalité:** AWS Glue 5.1 est la version par défaut pour les tâches créées sans spécifier de AWS Glue version.
Outre la mise à niveau du moteur Spark, cette AWS Glue version comporte des optimisations et des mises à niveau, telles que :+ Formats de table ouverts (OTF) mis à jour vers Hudi 1.0.2, Iceberg 1.10.0 et Delta Lake 3.3.2
+ Format Iceberg version 3.0
+ Accès complet à la table (FTA) Hudi avec lecture et écriture
+ Spark-native DDL/DML opérations de contrôle d'accès précis (FGAC) sur les tables Hive, Iceberg et Delta Lake enregistrées dans Lake Formation
+ Contexte d'audit pour les appels d'API Glue et Lake Formation dans le CloudTrail journal
+ Support d'Iceberg Materialized Views - **AWS Glue 5,0** - **Versions d'environnement d'exécution prises en charge:** + Spark 3.5.4
+ Python 3.11
+ Échelle 2.12.18 - **Version Java prise en charge:** Java 17 - **Changements de fonctionnalité:** En plus des mises à jour du cadre, des optimisations et des mises à niveau sont intégrées à cette version d’ AWS Glue , telles que :+ Assistance pour Amazon SageMaker Unified Studio
+ Assistance Amazon SageMaker Lakehouse
+ Open Table Formats (OTF) mis à jour vers Hudi 0.15.0, Iceberg 1.7.1 et Delta Lake 3.3.0
+ Spark-native contrôle d'accès précis à l'aide de Lake Formation.
+ Prise en charge d’autorisations d’accès Amazon S3
+ Prise en charge de `requirements.txt` pour installer des bibliothèques Python supplémentaires
+ Prise en charge du lignage des données sur Amazon DataZone
+ Prise en charge des compartiments de tableaux Amazon S3
+ AWS Glue Prise en charge de l'affichage en plusieurs dialectes du catalogue de données Limitations Les limites de la AWS Glue version 5.0 sont les suivantes : + Le contrôle d'accès au niveau de la table `GlueContext` basé sur Glue Dynamic Frame/ avec des AWS Lake Formation autorisations prises en charge dans Glue 4.0 ou une version antérieure n'est pas pris en charge dans Glue 5.0. Utilisez le nouveau [contrôle précis des accès (FGAC) natif Spark](https://docs.aws.amazon.com/glue/latest/dg/security-lf-enable.html) de Glue 5.0.
Pour plus d'informations sur la migration vers la AWS Glue version 5.0, consultez[Migrating AWS Glue pour que les tâches Spark soient AWS Glue version 5.0](migrating-version-50.md). - **AWS Glue 4,0** - **Versions d'environnement d'exécution prises en charge:** Versions de l'environnement Spark + Spark 3.3.0
+ Python 3.10 / **Version Java prise en charge:** Java 8 / **Changements de fonctionnalité:** AWS Glue La version 4.0 intègre un certain nombre d'optimisations et de mises à niveau dans cette AWS Glue version, telles que :+ De nombreuses mises à niveau des fonctionnalités Spark de Spark 3.1 vers Spark 3.3 : Plusieurs améliorations de fonctionnalités lorsqu'il est associé à Pandas. Pour plus d'informations, consultez [Nouveautés de Spark 3.3](https://spark.apache.org/releases/spark-release-3-3-0.html). Optimisations supplémentaires développées sur Amazon EMR. Mise à niveau vers le système de fichiers EMR (EMRFS) 2.53.
+ Migration de Log4j 2 à partir de Log4j 1.x
+ Plusieurs mises à jour de modules Python depuis AWS Glue version 3.0, comme une version de Boto mise à niveau.
+ Mise à niveau de plusieurs connecteurs, notamment le connecteur Amazon Redshift par défaut. Consultez [Annexe C : Mises à niveau des connecteurs](migrating-version-40.md#migrating-version-40-appendix-connector).
+ Mise à niveau de plusieurs pilotes JDBC. Consultez [Annexe B : Mises à niveau du pilote JDBC](migrating-version-40.md#migrating-version-40-appendix-jdbc-driver).
+ Utilisation d'un nouveau connecteur Amazon Redshift et d'un nouveau pilote JDBC.
+ Prise en charge native des infrastructures de lac de données ouverts avec Apache Hudi, Delta Lake et Apache Iceberg.
+ Support natif pour le plug-in Amazon S3-based Cloud Shuffle Storage (un plug-in Apache Spark) permettant d'utiliser Amazon S3 pour le remaniement et la capacité de stockage élastique. Limitations Voici les limites de AWS Glue  4.0 : + AWS Glue l'apprentissage automatique et les transformations des informations personnelles identifiables (PII) ne sont pas encore disponibles dans la AWS Glue version 4.0.
Pour plus d'informations sur la migration vers AWS Glue version 4.0, consultez [Migration AWS Glue des tâches Spark vers la AWS Glue version 4.0](migrating-version-40.md). - **Versions d'environnement d'exécution prises en charge:** Versions de l'environnement Ray + Ray 2.4.0
Python 3.9 / **Version Java prise en charge:** N/A / **Changements de fonctionnalité:** Créez et exécutez des applications Python distribuées avec AWS Glue for Ray.+ Supporte la distribution de Ray-2.4.0 données (`ray[data]`) avec Python 3.9. Pour plus d'informations sur cette version de Ray, consultez [ Ray-2.4.0 ](https://github.com/ray-project/ray/releases/tag/ray-2.4.0) le GitHub référentiel Ray.
+ Prend en charge l'installation de bibliothèques Python supplémentaires dans l'environnement d'exécution `Ray2.4`. Pour de plus amples informations, veuillez consulter [Modules Python supplémentaires pour les tâches Ray](edit-script-ray-env-dependencies.md#edit-script-ray-python-libraries-additional).
+ Intègre les journaux et les mesures des tâches Ray à Amazon CloudWatch. Pour plus d’informations, consultez [Résolution AWS Glue des erreurs Ray liées aux journaux](troubleshooting-ray.md) et [Surveiller les tâches Ray à l'aide de métriques](author-job-ray-monitor.md).
+ Regroupe et visualise les mesures relatives aux jobs Ray dans AWS Glue Studio, sur la page de chaque job exécuté.
+ Prend en charge la distribution des fichiers dans chaque répertoire de travail de votre cluster, le déversement d'objets du magasin d'objets Ray vers Amazon S3 et le contrôle du nombre minimum de composants master alloués à votre tâche Ray. Pour de plus amples informations, veuillez consulter [Utilisation des paramètres de tâche dans les tâches Ray](author-job-ray-job-parameters.md).
**Limitations des tâches Ray dans la version 4.0 de AWS Glue **+ AWS Glue les sessions interactives pour Ray restent disponibles en avant-première pour cette version.
+ AWS Glue l'intégration de for Ray avec Amazon VPC n'est pas disponible actuellement. Les ressources d'un VPC ne AWS seront pas accessibles sans voie publique. Pour plus d'informations sur l'utilisation AWS Glue avec Amazon VPC, consultez[Configuration des points de terminaison VPC de l'interface (AWS PrivateLink) pour AWS Glue (AWS PrivateLink)](vpc-interface-endpoints.md).
+ AWS Glue for Ray est disponible dans les régions USA Est (Virginie du Nord), USA Est (Ohio), USA Ouest (Oregon), Asie-Pacifique (Tokyo) et Europe (Irlande). - **AWS Glue 3,0** - **Versions d'environnement d'exécution prises en charge:** + Spark 3.1.1
+ Python 3.7 - **Version Java prise en charge:** Java 8 - **Changements de fonctionnalité:** En plus de la mise à niveau du moteur Spark vers 3.0, des optimisations et des mises à niveau sont intégrées à cette version de AWS Glue , telles que :+ Construit la bibliothèque AWS Glue ETL sur la base de Spark 3.0, qui est une version majeure de Spark.
+ Les tâches de streaming sont prises en charge sur AWS Glue  3.0.
+ Inclut de nouvelles optimisations de l'exécution de AWS Glue Spark en termes de performances et de fiabilité : Traitement plus rapide des colonnes en mémoire basé sur Apache Arrow pour la lecture des données CSV. SIMD-based exécution pour les lectures vectorisées avec des données CSV. La mise à niveau Spark inclut également des optimisations supplémentaires développées sur Amazon EMR. EMRFS mis à niveau de la version 2.38 à 2.46 offrant de nouvelles fonctionnalités et des corrections de bogues pour l'accès à Amazon S3.
+ Mise à niveau de plusieurs dépendances requises pour la nouvelle version de Spark.
+ Pilotes JDBC mis à niveau pour nos sources de données prises en charge en mode natif. Limitations Voici les limites de AWS Glue  3.0 : + AWS Glue les transformations d'apprentissage automatique ne sont pas encore disponibles dans la AWS Glue version 3.0.
+ Certains connecteurs Spark personnalisés ne fonctionnent pas avec AWS Glue  3.0 s'ils dépendent de Spark 2.4 et ne sont pas compatibles avec Spark 3.1. - **AWS Glue 2.0 ([fin de vie le 1er avril 2026](https://docs.aws.amazon.com/glue/latest/dg/glue-version-support-policy.html))** - **Versions d'environnement d'exécution prises en charge:** + Spark 2.4.3
+ Python 3.7 - **Version Java prise en charge:** N/A - **Changements de fonctionnalité:** Outre les fonctionnalités fournies dans la AWS Glue version 1.0, AWS Glue la version 2.0 fournit également :+ Une infrastructure améliorée pour exécuter les tâches ETL d'Apache Spark AWS Glue avec des temps de démarrage réduits.
+ Désormais, la journalisation par défaut est en temps réel, avec des flux séparés pour les pilotes et les exécuteurs, ainsi que des sorties et des erreurs.
+ Prise en charge de la spécification de modules Python supplémentaires ou de versions différentes au niveau de la tâche. AWS Glue la version 2.0 diffère de AWS Glue la version 1.0 pour certaines dépendances et versions en raison de modifications architecturales sous-jacentes. Validez vos tâches AWS Glue avant de migrer vers les versions AWS Glue majeures. - **AWS Glue 1.0 ([fin de vie le 1er avril 2026](https://docs.aws.amazon.com/glue/latest/dg/glue-version-support-policy.html))** - **Versions d'environnement d'exécution prises en charge:** + Spark 2.4.3
+ Python 2.7
+ Python 3.6 - **Version Java prise en charge:** N/A - **Changements de fonctionnalité:** Vous pouvez gérer les signets de tâche pour les formats Parquet et ORC dans les tâches ETL AWS Glue (avec AWS Glue version 1.0). Auparavant, vous ne pouviez ajouter à vos favoris que les formats source Amazon S3 courants tels que JSON, CSV, Apache Avro et XML dans les tâches AWS Glue ETL.
Lorsque vous définissez les options de format pour les entrées et les sorties ETL, vous pouvez spécifier d'utiliser le reader/writer format Apache Avro 1.8 pour prendre en charge la lecture et l'écriture de types logiques Avro (en utilisant AWS Glue la version 1.0). Auparavant, seul le reader/writer format Avro de la version 1.7 était pris en charge.
Le type de connexion DynamoDB prend en charge une option d'écriture (à l'aide de AWS Glue version 1.0). Limitations Voici les limites de AWS Glue  1.0 : + AWS Glue les versions 0.9 et 1.0 ne seront pas disponibles en Asie-Pacifique (Jakarta) (`ap-southeast-3`), au Moyen-Orient (Émirats arabes unis) (`me-central-1`) ou dans d'autres nouvelles régions à l'avenir. - **AWS Glue 0,9 ([fin de vie le 1er avril 2026](https://docs.aws.amazon.com/glue/latest/dg/glue-version-support-policy.html))** - **Versions d'environnement d'exécution prises en charge:** + Spark 2.2.1
+ Python 2.7 - **Version Java prise en charge:** N/A - **Changements de fonctionnalité:** Limitations Voici les limites de AWS Glue  0.9 : + AWS Glue les versions 0.9 et 1.0 ne seront pas disponibles en Asie-Pacifique (Jakarta) (`ap-southeast-3`), au Moyen-Orient (Émirats arabes unis) (`me-central-1`) ou dans d'autres nouvelles régions à l'avenir. **Note** Les versions de Glue suivantes prennent en charge les versions suivantes de PythonShell : PythonShell La version 3.6 est prise en charge dans la version 1.0 de Glue. PythonShell La version 3.9 est prise en charge dans la version 3.0 de Glue. De plus, les points de terminaison de développement ne sont pris en charge que dans les versions 1.0 et 0.9 de Glue.