Création AWS Glue d'emplois grâce à des sessions interactives

Les ingénieurs de données peuvent créer AWS Glue des tâches plus rapides et plus faciles qu'auparavant grâce à des sessions interactives dans AWS Glue.

Rubriques

• Vue d'ensemble de AWS Glue sessions interactives
• Démarrage avec AWS Glue sessions interactives
• Configuration AWS Glue sessions interactives pour Jupyter et AWS Glue Studio blocs-notes
• Commencer à utiliser AWS Glue les sessions interactives de for Ray (version préliminaire)
• Conversion d'un script ou d'un bloc-notes en AWS Glue tâche
• Utilisation des opérations de streaming dans le cadre de sessions AWS Glue interactives
• Développement et test AWS Glue scripts de tâches en local
• Points de terminaison de développement

Vue d'ensemble de AWS Glue sessions interactives

Avec AWS Glue sessions interactives, vous pouvez rapidement créer, tester et exécuter des applications de préparation et d'analyse des données. Les sessions interactives fournissent une interface programmatique et visuelle pour créer et tester des scripts d'extraction, de transformation et de chargement (ETL) pour la préparation des données. Les sessions interactives exécutent les applications d'analyse Apache Spark et fournissent un accès à la demande à un environnement d'exécution Spark distant. AWS Glue gère de manière transparente Spark sans serveur pour ces sessions interactives.

Les sessions interactives sont flexibles, vous pouvez donc créer et tester des applications à partir de l'environnement de votre choix. Vous pouvez créer et utiliser des sessions interactives via le AWS Command Line Interface et leAPI. Vous pouvez utiliser des blocs-notes compatibles avec Jupyter pour créer et tester visuellement vos scripts de bloc-notes. Les sessions interactives fournissent un noyau Jupyter open source qui s'intègre presque partout où Jupyter le fait, y compris avec PyCharm IntelliJ et VS Code. IDEs Cela vous permet de coder dans votre environnement local et de l'exécuter de manière transparente sur le backend des séances interactives.

Grâce aux sessions interactivesAPI, les clients peuvent exécuter par programmation des applications qui utilisent les analyses d'Apache Spark sans avoir à gérer l'infrastructure Spark. Vous pouvez exécuter une ou plusieurs instructions Spark au cours d'une seule séance interactive.

Les séances interactives offrent donc un moyen plus rapide, moins coûteux et plus flexible de créer et d'exécuter des applications de préparation et d'analytique des données. Pour apprendre à utiliser les sessions interactives, consultez la documentation de cette section. Magics soutenu par AWS Glue

Limites

• Les signets de tâches ne sont pas pris en charge dans les séances interactives.

• La création de tâches de bloc-notes à l'aide du n' AWS Command Line Interface est pas prise en charge.

• AWS Glue Studio les ordinateurs portables ne supportent pas Scala.