Commencer à utiliser l'ETL sans serveur sur AWS Glue

Dheer Toprani et Adnan Alvee, Amazon Web Services ()AWS

Mars 2024 (historique du document)

Le cloud Amazon Web Services (AWS) AWS Glueest un environnement sans serveur entièrement géré dans lequel vous pouvez extraire, transformer et charger des données (ETL) à grande échelle. Vous pouvez ainsi classer les données, les nettoyer, les enrichir et les déplacer de manière fiable entre différents magasins et flux de données de manière rentable. AWS Glue

AWS Glue est sans serveur, vous n'avez donc pas à vous soucier du provisionnement ou de la gestion des serveurs. Avec AWS Glue, vous ne payez que pour les ressources que vous utilisez, et vous pouvez les augmenter ou les réduire selon vos besoins.

AWS Glue se compose des éléments suivants :

• AWS Glue ETL — L' AWS Glue ETL fournit des options de traitement par lots et de streaming pour extraire, transformer et charger des données d'une source à l'autre.

• AWS Glue Data Catalog— Le catalogue de données est un référentiel central permettant d'organiser les métadonnées de tous vos actifs de données. Data Catalog fournit une interface unifiée dans laquelle vous pouvez rechercher, découvrir et partager des actifs de données entre les services d'analyse de données.

• AWS Glue DataBrew— DataBrew est un outil de préparation de données sans code que vous pouvez utiliser pour explorer, nettoyer et transformer visuellement les données. Vous pouvez choisir parmi plus de 250 transformations prédéfinies pour automatiser les tâches de préparation des données sans écrire de code.

Ce guide fournit une introduction de haut niveau AWS Glue, notamment son fonctionnement et la manière dont vous pouvez commencer à l'utiliser. Il couvre les concepts clés que vous devez connaître avant de créer des AWS Glue tâches, tels que l'automatisation, la surveillance et l'intégration à d'autres AWS services. La section Prochaines étapes vous permettra de vous familiariser avec l'écriture du code AWS Glue. Si vous avez déjà une certaine expérience en la matière AWS Glue, la section Bonnes pratiques vous aidera à combler les lacunes dans vos connaissances. À la fin de ce guide, vous disposerez des connaissances et des ressources dont vous avez besoin pour commencer à l'utiliser AWS Glue efficacement.