Utiliser les bibliothèques Python dans Athena pour Spark

Cette page décrit la terminologie utilisée et la gestion du cycle de vie suivie pour les moteurs d'exécution, les bibliothèques et les packages utilisés dans Amazon Athena pour Apache Spark.

Définitions

• Amazon Athena pour Apache Spark est une version personnalisée d'Apache Spark open source. Pour voir la version actuelle, exécutez la commande print(f'{spark.version}') dans une cellule du bloc-notes.

• Le moteur d'exécution Athena est l'environnement dans lequel votre code s'exécute. L'environnement inclut un interpréteur Python et PySpark des bibliothèques.

• Une bibliothèque ou un package externe est une bibliothèque Java, Scala JAR ou Python qui ne fait pas partie du runtime Athena mais qui peut être incluse dans les tâches Athena for Spark. Les packages externes peuvent être créés par Amazon ou par vous.

• Le package pratique est un ensemble de packages externes sélectionnés par Athena que vous pouvez choisir d'inclure dans vos applications Spark.

• L'offre groupée combine le moteur d'exécution Athena et un package pratique.

• La bibliothèque utilisateur est une bibliothèque externe ou un package que vous ajoutez explicitement à votre tâche Athena pour Spark.

  • La bibliothèque utilisateur est un package externe qui ne fait pas partie d'un package pratique. La bibliothèque utilisateur nécessite un chargement et une installation, comme lorsque vous écrivez des fichiers .py, que vous les compressez et que vous ajoutez le fichier .zip à votre application.

• L'application Athena pour Spark est une tâche ou une requête que vous soumettez à Athena pour Spark.

Gestion des cycles de vie

Les sections suivantes décrivent les politiques de version et d'obsolescence concernant les packages d'exécution et de commodité utilisés dans Athena pour Spark.

Gestion des versions et obsolescence du moteur d'exécution

Le composant principal du moteur d'exécution Athena est l'interpréteur Python. Python étant un langage évolutif, de nouvelles versions sont publiées régulièrement et la prise en charge des anciennes versions est supprimée. Athena ne vous recommande pas d'exécuter des programmes avec des versions dépréciées de l'interpréteur Python et vous recommande vivement d'utiliser la dernière version du moteur d'exécution Athena chaque fois que cela est possible.

Le calendrier d'obsolescence du moteur d'exécution d'Athena est le suivant :

1. Après qu'Athena ait fourni un nouveau moteur d'exécution, Athena continuera à prendre en charge le moteur d'exécution précédent pendant 6 mois. Pendant cette période, Athena appliquera des correctifs de sécurité et des mises à jour au moteur d'exécution précédent.

2. Après 6 mois, Athena mettra fin à la prise en charge de la version précédente. Athena n'appliquera plus les correctifs de sécurité et autres mises à jour du moteur d'exécution précédent. Les applications Spark utilisant l'ancien moteur d'exécution ne pourront plus bénéficier du support technique.

3. Après 12 mois, vous ne pourrez plus mettre à jour ou modifier les applications Spark dans un groupe de travail qui utilise le moteur d'exécution précédent. Nous vous recommandons de mettre à jour vos applications Spark avant la fin de cette période. Après la fin de la période, vous pouvez toujours exécuter les blocs-notes existants, mais tous les blocs-notes qui utilisent encore le moteur d'exécution précédent recevront un avertissement à cet effet.

4. Après 18 mois, vous ne pourrez plus exécuter de tâches dans le groupe de travail en utilisant le moteur d'exécution précédent.

Gestion des versions et obsolescence des packages pratiques

Le contenu des packages pratiques évolue au fil du temps. Athena ajoute, supprime ou améliore occasionnellement ces packages pratiques.

Athena applique les directives suivantes pour les packages pratiques :

• Les packages pratiques ont un schéma de gestion des versions simple comme 1, 2, 3.

• Chaque version de package pratique comprend des versions spécifiques de packages externes. Une fois qu'Athena a créé un package pratique, l'ensemble des packages externes du package pratique et leurs versions correspondantes ne changent pas.

• Athena crée une nouvelle version de package pratique lorsqu'elle inclut un nouveau package externe, supprime un package externe ou met à niveau la version d'un ou de plusieurs packages externes.

Athena rend obsolète un package pratique lorsqu'elle rend obsolète le moteur d'exécution Athena que le package utilise. Athena peut rendre les paquets obsolètes plus tôt afin de limiter le nombre de packages qu'elle prend en charge.

Le calendrier d'obsolescence des packages pratiques suit le calendrier d'obsolescence du moteur d'exécution d'Athena.