Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.
Utilisation de connecteurs et de connexions avec AWS Glue Studio
AWS Glue fournit une prise en charge intégrée des magasins de données les plus couramment utilisés (tels que Amazon Redshift, Amazon Aurora, Microsoft SQL Server, MySQL, MongoDB et PostgreSQL) à l'aide de connexions JDBC. AWS Glue vous permet également d'utiliser des pilotes JDBC personnalisés dans vos tâches Extract-transform-load (ETL). Pour les magasins de données qui ne sont pas pris en charge en mode natif, comme les applications SaaS, vous pouvez utiliser des connecteurs.
Un connecteur est un package de code facultatif qui facilite l'accès aux magasins de données dans AWS Glue Studio Glue Studio. Vous pouvez vous abonner à plusieurs connecteurs proposés dans AWS Marketplace.
Lorsque vous créez des tâches ETL, vous pouvez utiliser un magasin de données pris en charge de manière native AWS Marketplace, un connecteur ou vos propres connecteurs personnalisés. Si vous utilisez un connecteur, vous devez d'abord créer une connexion pour le connecteur. Une connexion contient les propriétés requises pour se connecter à un magasin de données particulier. Vous utilisez la connexion avec vos sources de données et cibles de données dans la tâche ETL. Les connecteurs et les connexions fonctionnent ensemble pour faciliter l'accès aux magasins de données.
Rubriques
- Présentation de l'utilisation des connecteurs et des connexions
- Ajouter des connecteurs àAWS Glue Studio
- Connexions disponibles
- Création de connexions pour les connecteurs
- Création de tâches avec des connecteurs personnalisés
- Gestion des connecteurs et des connexions
- Développement de connecteurs personnalisés
- Restrictions d'utilisation des connecteurs et des connexions dans AWS Glue Studio Glue Studio
Présentation de l'utilisation des connecteurs et des connexions
Une connexion contient les propriétés requises pour se connecter à un magasin de données particulier. Lorsque vous créez une connexion, elle est stockée dans AWS Glue Data Catalog. Vous sélectionnez un connecteur, puis créez une connexion basée sur celui-ci.
Vous pouvez vous abonner à des connecteurs pour les magasins de données non pris en charge de manière native AWS Marketplace, puis utiliser ces connecteurs lorsque vous créez des connexions. Les développeurs peuvent également créer leurs propres connecteurs et vous pouvez les utiliser lors de la création de connexions.
Note
Les connexions créées à l'aide de AWS Marketplace connecteurs personnalisés ou de connecteurs AWS Glue Studio apparaissent dans la AWS Glue console avec le type défini surUNKNOWN
.
Les étapes suivantes décrivent le processus global d'utilisation des connecteurs dans AWS Glue Studio Glue Studio :
-
Abonnez-vous à un connecteur dans AWS Marketplace, ou développez votre propre connecteur et téléchargez-le surAWS Glue Studio. Pour plus d’informations, consultez Ajouter des connecteurs àAWS Glue Studio.
-
Vérifiez les informations d'utilisation du connecteur. Vous pouvez trouver ces informations sous l'onglet Usage (Utilisation) de la page produit du connecteur. Par exemple, si vous cliquez sur l'onglet Utilisation de cette page produit, AWS GlueConnector for Google BigQuery
, vous pouvez voir dans la section Ressources supplémentaires un lien vers un blog sur l'utilisation de ce connecteur. D'autres connecteurs peuvent contenir des liens vers les instructions de la section Présentation, comme indiqué sur la page produit du connecteur Cloudwatch Logs pour AWS Glue . -
Créez une connexion. Vous sélectionnez le connecteur à utiliser et fournissez des informations supplémentaires pour la connexion, telles que les informations d'identification de connexion, les chaînes d'URI et les informations de Virtual Private Cloud (VPC). Pour plus d’informations, consultez Création de connexions pour les connecteurs.
-
Créez un rôle IAM pour votre tâche. La tâche dispose des autorisations du rôle IAM que vous spécifiez quand vous la créez. Ce rôle IAM doit disposer des autorisations nécessaires pour s'authentifier, extraire des données et écrire des données dans vos magasins de données.
-
Créez une tâche ETL et configurez les propriétés de la source de données pour cette tâche. Fournissez les options de connexion et les informations d'authentification comme indiqué par le fournisseur de connecteur personnalisé. Pour plus d’informations, consultez Création de tâches avec des connecteurs personnalisés.
-
Personnalisez votre tâche ETL en ajoutant des transformations ou des magasins de données supplémentaires, comme décrit dans ETL visuel avec AWS Glue Studio.
-
Si vous utilisez un connecteur pour la cible de données, configurez les propriétés de la cible de données pour votre tâche ETL. Fournissez les options de connexion et les informations d'authentification comme indiqué par le fournisseur de connecteur personnalisé. Pour plus d’informations, consultez Création de tâches avec des connecteurs personnalisés.
-
Personnalisez l'environnement d'exécution de la tâche en configurant ses propriétés, comme décrit dans Modifier les propriétés de tâche.
-
Exécutez la tâche.
Ajouter des connecteurs àAWS Glue Studio
Un connecteur est un morceau de code qui facilite la communication entre votre magasin de données et AWS Glue. Vous pouvez soit vous abonner à un connecteur proposé dans AWS Marketplace, soit créer votre propre connecteur personnalisé.
Abonnement à des connecteurs AWS Marketplace
AWS Glue Studiopermet d'ajouter facilement des connecteurs à partir de AWS Marketplace.
Pour ajouter un connecteur de AWS Marketplace à AWS Glue Studio
-
Dans la console AWS Glue Studio Glue Studio, sélectionnez Connectors (Connecteurs) dans le panneau de navigation de la console.
-
Sur la page Connectors (Connecteurs), sélectionnez Go to AWS Marketplace (Accéder à MKT).
-
Dans AWS Marketplace, dans Produits en vedette, choisissez le connecteur que vous souhaitez utiliser. Vous pouvez choisir l'un des connecteurs disponibles ou utiliser la recherche. Vous pouvez effectuer une recherche sur le nom ou le type de connecteur, et utiliser des options pour affiner les résultats de cette recherche.
Si vous souhaitez utiliser l'un des connecteurs proposés, sélectionnez View product (Afficher le produit). Si vous avez utilisé la recherche pour localiser un connecteur, choisissez le nom de celui-ci.
-
Sur la page produit du connecteur, utilisez les onglets pour afficher des informations sur le connecteur. Si vous décidez d'acheter ce connecteur, sélectionnez Continue to Subscribe (Continuer pour s'abonner).
-
Fournissez les informations de paiement, puis sélectionnez Continue to Configure (Continuer pour configurer).
-
Sur la page Configure this software (Configurer ce logiciel), choisissez la méthode de déploiement et la version du connecteur à utiliser. Puis sélectionnez Continue to Launch (Continuer pour lancer).
-
Sur la page Launch this software (Lancer ce logiciel), vous pouvez consulter les instructions d'utilisation fournies par le fournisseur du connecteur. Lorsque vous êtes prêt à continuer, sélectionnez Activate connection in (Activer la connexion dans)AWS Glue Studio.
Après un bref instant, la console affiche la page Create marketplace connection (Créer une connexion de site de vente) dans AWS Glue Studio Glue Studio.
-
Créez une connexion qui utilise ce connecteur, comme décrit dans Création de connexions pour les connecteurs.
Vous pouvez également sélectionner Activate connector only (Activer le connecteur uniquement) pour ignorer la création d'une connexion à ce stade. Vous devez créer une connexion à une date ultérieure avant de pouvoir utiliser le connecteur.
Création de connecteurs personnalisés
Vous pouvez également créer votre propre connecteur, puis charger le code du connecteur dans AWS Glue Studio.
Les connecteurs personnalisés sont intégrés à AWS Glue Studio Glue Studio via l'API d'exécution Spark AWS Glue. L'exécution Spark AWS Glue vous permet de brancher n'importe quel connecteur compatible avec l'interface Spark, Athena ou JDBC. Cela vous permet de transférer n'importe quelle option de connexion disponible avec le connecteur personnalisé.
Vous pouvez encapsuler toutes vos propriétés de connexion avec AWS Glue Connections (Connexions Glue) et fournir le nom de la connexion à votre tâche ETL. L'intégration aux connexions Data Catalog vous permet d'utiliser les mêmes propriétés de connexion sur plusieurs appels dans une seule application Spark ou différentes applications.
Vous pouvez spécifier des options supplémentaires pour la connexion. Le script de tâche généré par AWS Glue Studio Glue Studio contient une entrée Datasource
qui utilise la connexion pour brancher votre connecteur avec les options de connexion spécifiées. Par exemple :
Datasource = glueContext.create_dynamic_frame.from_options(connection_type = "custom.jdbc", connection_options = {"dbTable":"Account","connectionName":"my-custom-jdbc- connection"}, transformation_ctx = "DataSource0")
Pour ajouter un connecteur personnalisé à AWS Glue Studio Glue Studio
-
Créez le code de votre connecteur personnalisé. Pour plus d’informations, consultez Développement de connecteurs personnalisés.
-
Ajoutez la prise en charge des fonctions AWS Glue à votre connecteur. Voici quelques exemples de ces fonctions et de leur utilisation dans le script de tâche généré par AWS Glue Studio :
-
Mappage des types de données : votre connecteur peut convertir les colonnes tout en les lisant à partir du magasin de données sous-jacent. Par exemple, un
dataTypeMapping
de{"INTEGER":"STRING"}
convertit toutes les colonnes de typeInteger
en colonnes de typeString
lors de l'analyse des enregistrements et de la création du fichierDynamicFrame
. Cela aide les utilisateurs à convertir les colonnes en types de leur choix.DataSource0 = glueContext.create_dynamic_frame.from_options(connection_type = "custom.jdbc", connection_options = {"dataTypeMapping":{"INTEGER":"STRING"}", connectionName":"test-connection-jdbc"}, transformation_ctx = "DataSource0")
-
Partitionnement pour les lectures parallèles : AWS Glue permet des lectures de données parallèles à partir du magasin de données en partitionnant les données sur une colonne. Vous devez spécifier la colonne de partition, la limite de partition inférieure, la limite de partition supérieure et le nombre de partitions. Cette fonction vous permet d'utiliser à la fois le parallélisme des données et plusieurs exécuteurs Spark alloués à l'application Spark.
DataSource0 = glueContext.create_dynamic_frame.from_options(connection_type = "custom.jdbc", connection_options = {"upperBound":"200","numPartitions":"4", "partitionColumn":"id","lowerBound":"0","connectionName":"test-connection-jdbc"}, transformation_ctx = "DataSource0")
-
AWS Secrets Manager À utiliser pour stocker les informations d'identification : la connexion au catalogue de données peut également contenir un
secretId
code secret stocké dans AWS Secrets Manager. Le AWS secret peut stocker en toute sécurité les informations d'authentification et d'identification et les fournir AWS Glue lors de l'exécution. Vous pouvez également spécifier lesecretId
à partir du script Spark comme suit :DataSource = glueContext.create_dynamic_frame.from_options(connection_type = "custom.jdbc", connection_options = {"connectionName":"test-connection-jdbc", "secretId"-> "my-secret-id"}, transformation_ctx = "DataSource0")
-
Filtrage des données source avec des prédicats de ligne et des projections de colonne : l'exécution Spark AWS Glue permet également aux utilisateurs d'envoyer des requêtes SQL pour filtrer les données à la source avec des prédicats de ligne et des projections de colonne. Cela permet à votre tâche ETL de charger plus rapidement les données filtrées à partir des magasins de données qui prennent en charge les transferts. Voici un exemple de requête SQL transmise à une source de données JDBC :
SELECT id, name, department FROM department WHERE id < 200.
DataSource = glueContext.create_dynamic_frame.from_options(connection_type = "custom.jdbc", connection_options = {"query":"SELECT id, name, department FROM department WHERE id < 200","connectionName":"test-connection-jdbc"}, transformation_ctx = "DataSource0")
-
Marque-pages de tâche : AWS Glue prend en charge le chargement progressif de données à partir de sources JDBC. AWS Glue assure le suivi du dernier registre traité à partir du magasin de données et traite les nouveaux registres de données dans les exécutions de tâches ETL suivantes. Les marque-pages de tâche utilisent la clé primaire comme colonne par défaut pour la clé de marque-page, à condition que cette colonne augmente ou diminue de manière séquentielle. Pour plus d'informations sur les marque-pages de tâche, consultez Marque-pages de tâche dans le Guide du développeur AWS Glue .
DataSource0 = glueContext.create_dynamic_frame.from_options(connection_type = "custom.jdbc", connection_options = {"jobBookmarkKeys":["empno"], "jobBookmarkKeysSortOrder" :"asc", "connectionName":"test-connection-jdbc"}, transformation_ctx = "DataSource0")
-
-
Empaquetez le connecteur personnalisé en tant que fichier JAR et téléchargez le fichier sur Amazon S3.
-
Testez votre connecteur personnalisé. Pour plus d'informations, consultez les instructions sur GitHub at Glue Custom Connectors : Local Validation Tests Guide
. -
Dans la console AWS Glue Studio Glue Studio, sélectionnez Connectors (Connecteurs) dans le panneau de navigation de la console.
-
Sur la page Connectors (Connecteurs), sélectionnez Create custom connector (Créer un connecteur personnalisé).
-
Sur la page Create custom connector (Créer un connecteur personnalisé), saisissez les informations suivantes :
-
Chemin d'accès à l'emplacement du fichier JAR de code personnalisé dans Amazon S3.
-
Nom du connecteur qui sera utilisé par AWS Glue Studio Glue Studio.
-
Votre type de connecteur, JDBC, Spark ou Athena.
-
Nom du point d'entrée dans votre code personnalisé qu'AWS Glue Studio Glue Studio appelle pour utiliser le connecteur.
-
Pour les connecteurs JDBC, ce champ doit être le nom de classe de votre pilote JDBC.
-
Pour les connecteurs Spark, ce champ doit être le nom complet de la classe de source de données, ou son alias, que vous utilisez lors du chargement de la source de données Spark avec l'opérateur
format
.
-
-
(JDBC uniquement) URL de base utilisée par la connexion JDBC pour le magasin de données.
-
(Facultatif) Description du connecteur personnalisé.
-
-
Sélectionnez Create connector (Créer un connecteur).
-
Depuis la page Connectors (Connecteurs), créez une connexion qui utilise ce connecteur, comme décrit dans Création de connexions pour les connecteurs.
Création de tâches avec des connecteurs personnalisés
Vous pouvez utiliser des connecteurs et des connexions pour les nœuds de source de données et les nœuds de cible de données dans AWS Glue Studio Glue Studio.
Rubriques
Créer des tâches qui utilisent un connecteur pour la source de données
Lorsque vous créez une tâche, vous pouvez choisir un connecteur pour la source de données et les cibles de données.
Pour créer une tâche qui utilise des connecteurs pour la source de données ou la cible de données
Connectez-vous à la AWS Glue Studio console AWS Management Console et ouvrez-la à l'adresse https://console.aws.amazon.com/gluestudio/
. -
Depuis la page Connectors (Connecteurs), dans la liste de ressources Your connections (Vos connexions), choisissez la connexion que vous souhaitez utiliser dans votre tâche, puis sélectionnez Create job (Créer une tâche).
Sinon, sur la page Jobs (Tâches) d'AWS Glue Studio Glue Studio, sous Create job (Créer une tâche), sélectionnez Source and target added to the graph (Source et cible ajoutées au graphique). Dans la liste déroulante Source, choisissez le connecteur personnalisé que vous souhaitez utiliser dans votre tâche. Vous pouvez également sélectionner un connecteur pour Target (Cible).
-
Sélectionnez ensuite Create (Créer) pour ouvrir l'éditeur de tâches visuelles.
-
Configurez le nœud de source de données, comme décrit dans Configurer les propriétés source pour les nœuds qui utilisent des connecteurs.
-
Continuez à créer votre tâche ETL en ajoutant des transformations, des magasins de données supplémentaires et des cibles de données, comme décrit dans ETL visuel avec AWS Glue Studio.
-
Personnalisez l'environnement d'exécution de la tâche en configurant les propriétés de la tâche comme décrit dans Modifier les propriétés de tâche.
-
Enregistrez, puis exécutez la tâche.
Configurer les propriétés source pour les nœuds qui utilisent des connecteurs
Après avoir créé une tâche qui utilise un connecteur pour la source de données, l'éditeur de tâche visuelle affiche un graphique de tâche avec un nœud de source de données configuré pour le connecteur. Vous devez configurer les propriétés de la source de données pour ce nœud.
Pour configurer les propriétés d'un nœud de source de données qui utilise un connecteur
-
Choisissez le nœud de la source de données du connecteur dans le graphique de la tâche ou ajoutez un nouveau nœud et choisissez le connecteur pour le type de nœud. Ensuite, sur la droite, dans le panneau des détails du nœud, sélectionnez l'onglet Data source properties (Propriétés de la source de données), s'il n'est pas déjà sélectionné.
-
Sous l'onglet Data source properties (Propriétés de la source de données), choisissez la connexion que vous souhaitez utiliser pour cette tâche.
Saisissez les informations supplémentaires requises pour chaque type de connexion :
-
(Facultatif) Après avoir fourni les informations requises, vous pouvez afficher le schéma de données résultant pour votre source de données en choisissant l'onglet Output schema (Schéma de sortie) dans le panneau des détails du nœud. Le schéma affiché sur cet onglet est utilisé par tous les nœuds enfants que vous ajoutez au graphique de tâche.
-
(Facultatif) Après avoir configuré les propriétés du nœud et les propriétés de la source de données, vous pouvez prévisualiser le jeu de données à partir de votre source de données en sélectionnant l'onglet Data preview (Prévisualisation des données) dans le volet de détails du nœud. La première fois que vous choisissez cet onglet pour un nœud de votre tâche, vous êtes invité à fournir un rôle IAM pour accéder aux données. Il y a un coût associé à l'utilisation de cette fonction, et la facturation commence dès que vous fournissez le rôle IAM.
Configurer les propriétés cibles pour les nœuds qui utilisent des connecteurs
Si vous utilisez un connecteur pour le type de cible de données, vous devez configurer les propriétés du nœud de cible de données.
Pour configurer les propriétés d'un nœud de cible de données qui utilise un connecteur
-
Choisissez le nœud cible des données du connecteur dans le graphique de la tâche. Ensuite, sur la droite, dans le panneau des détails du nœud, sélectionnez l'onglet Data target properties (Propriétés de la cible de données), s'il n'est pas déjà sélectionné.
-
Dans Data target properties (Propriétés des cibles de données), choisissez la connexion à utiliser pour écrire sur la cible.
Saisissez les informations supplémentaires requises pour chaque type de connexion :
-
Après avoir fourni les informations requises, vous pouvez afficher le schéma de données résultant pour votre source de données en choisissant l'onglet Output schema (Schéma de sortie) dans le panneau des détails du nœud.
Gestion des connecteurs et des connexions
Vous utilisez la page Connexions dans AWS Glue pour gérer vos connecteurs et connexions.
Rubriques
Affichage des détails du connecteur et de la connexion
Vous pouvez afficher des informations récapitulatives sur vos connecteurs et connexions dans les tableaux de ressources Your connectors (Vos connecteurs) et Your connections (Vos connexions) sur la page Connectors (Connecteurs). Pour afficher les informations détaillées, procédez comme suit.
Pour afficher les détails des connecteurs ou des connexions
-
Dans la console AWS Glue Studio Glue Studio, sélectionnez Connectors (Connecteurs) dans le panneau de navigation de la console.
-
Choisissez le connecteur ou la connexion dont vous souhaitez afficher les informations détaillées.
-
Sélectionnez Actions, puis View details (Afficher les détails) pour ouvrir la page de détail de ce connecteur ou de cette connexion.
-
Sur la page détaillée, vous pouvez choisir de Edit (Modifier) ou de Delete (Supprimer) le connecteur ou la connexion.
-
Pour les connecteurs, vous pouvez sélectionner Create connecton (Créer une connexion) pour créer une connexion qui utilise le connecteur.
-
Pour les connexions, vous pouvez sélectionner Create job (Créer une tâche) pour créer une tâche qui utilise la connexion.
-
Modification des connecteurs et des connexions
Vous utilisez la page Connectors (Connecteurs) pour modifier les informations stockées dans vos connecteurs et connexions.
Pour modifier un connecteur ou une connexion
-
Dans la console AWS Glue Studio Glue Studio, sélectionnez Connectors (Connecteurs) dans le panneau de navigation de la console.
-
Sélectionnez le connecteur ou la connexion que vous souhaitez modifier.
-
Sélectionnez Actions, puis Edit (Modifier).
Vous pouvez également sélectionner View details (Afficher les détails) et sur la page des détails du connecteur ou de la connexion, vous pouvez sélectionner Edit (Modifier).
-
Sur la page Edit connector (Modifier le connecteur) ou Edit connection (Modifier la connexion), mettez à jour les informations, puis sélectionnez Save (Enregistrer).
Suppression des connecteurs et des connexions
Vous pouvez utiliser la page Connectors (Connecteurs) pour supprimer les connecteurs et les connexions. Si vous supprimez un connecteur, toutes les connexions créées pour ce connecteur doivent également être supprimées.
Pour retirer des connecteurs de AWS Glue Studio
-
Dans la console AWS Glue Studio Glue Studio, sélectionnez Connectors (Connecteurs) dans le panneau de navigation de la console.
-
Sélectionnez le connecteur ou la connexion que vous souhaitez supprimer.
-
Sélectionnez Actions, puis sélectionnez Delete (Supprimer).
Vous pouvez également sélectionner View details (Afficher les détails), puis sur la page détaillée du connecteur ou de la connexion, vous pouvez sélectionnez Delete (Supprimer).
-
Vérifiez que vous souhaitez supprimer le connecteur ou la connexion en saisissant
Delete
, puis sélectionnez Delete (Supprimer).Lors de la suppression d'un connecteur, toutes les connexions créées pour celui-ci sont également supprimées.
Toutes les tâches qui utilisent une connexion supprimée ne fonctionneront plus. Vous pouvez modifier les tâches pour utiliser un autre magasin de données ou les supprimer. Pour plus d'informations sur la suppression d'une tâche, veuillez consulter Supprimer une tâche.
Si vous supprimez un connecteur, cela n'annule pas l'abonnement au connecteur dans AWS Marketplace. Pour supprimer un abonnement à un connecteur supprimé, suivez les instructions de la rubrique Annuler un abonnement pour un connecteur.
Annuler un abonnement pour un connecteur
Après avoir supprimé les connexions et le connecteurAWS Glue Studio, vous pouvez annuler votre abonnement AWS Marketplace si vous n'en avez plus besoin.
Note
Si vous annulez votre abonnement à un connecteur, cela ne supprime pas le connecteur ou la connexion de votre compte. Toutes les tâches qui utilisent le connecteur et les connexions associées ne pourront plus utiliser le connecteur et échoueront.
Avant de vous désabonner ou de vous réabonner à un connecteur de AWS Marketplace, vous devez supprimer les connexions existantes et les connecteurs associés à ce AWS Marketplace produit.
Pour vous désabonner d'un connecteur dans AWS Marketplace
-
Connectez-vous à la AWS Marketplace console à l'adresse https://console.aws.amazon.com/marketplace
. -
Sélectionnez Manage subscriptions (Gérer les abonnements).
-
Depuis la page Manage subscriptions (Gérer les abonnements), sélectionnez Manage (Gérer) en regard de l'abonnement au connecteur que vous souhaitez annuler.
-
Sélectionnez Actions, puis Cancel subscription (Annuler l'abonnement).
-
Cochez la case pour confirmer que les instances en cours d'exécution sont facturées sur votre compte, puis sélectionnez Yes, cancel subscription (Oui, annuler l'abonnement).
Développement de connecteurs personnalisés
Vous pouvez écrire le code qui lit ou écrit des données dans votre magasin de données et formate les données à utiliser avec les tâches AWS Glue Studio Glue Studio. Vous pouvez créer des connecteurs pour les magasins de données Spark, Athena et JDBC. L'exemple de code publié sur GitHub fournit un aperçu des interfaces de base que vous devez implémenter.
Vous aurez besoin d'un environnement de développement local pour créer votre code de connecteur. Vous pouvez utiliser n'importe quel IDE ou même simplement un éditeur de ligne de commande pour écrire votre connecteur. Voici quelques exemples d'environnements de développement :
-
Un environnement Scala local avec une bibliothèque AWS Glue ETL Maven locale, comme décrit dans Développement local avec Scala dans le Guide du développeur AWS Glue .
-
IntelliJ IDE, en téléchargeant l'IDE depuis https://www.jetbrains.com/idea/
Rubriques
Développement de connecteurs Spark
Vous pouvez créer un connecteur Spark avec DataSource l'API Spark V2 (Spark 2.4) pour lire les données.
Pour créer un connecteur Spark personnalisé
Suivez les étapes de la bibliothèque AWS Glue GitHub d'exemples pour développer des connecteurs Spark, qui se trouve à l'adresse https://github.com/aws-samples/ aws-glue-samples /tree/master/ /development/Spark/README.md GlueCustomConnectors
Développement de connecteurs Athena
Vous pouvez créer un connecteur Athena à utiliser par AWS Glue et AWS Glue Studio Glue Studio pour interroger une source de données personnalisée.
Pour créer un connecteur Athena personnalisé
Suivez les étapes de la bibliothèque AWS Glue GitHub d'exemples pour développer des connecteurs Athena, qui se trouve à l'adresse https://github.com/aws-samples/ aws-glue-samples /tree/master/ GlueCustomConnectors /development/Athena
Développement de connecteurs JDBC
Vous pouvez créer un connecteur qui utilise JDBC pour accéder à vos magasins de données.
Pour créer un connecteur JDBC personnalisé
-
Installez les bibliothèques d'exécution Spark AWS Glue dans votre environnement de développement local. Reportez-vous aux instructions de la bibliothèque d'AWS Glue GitHub exemples à l'adresse https://github.com/aws-samples/ aws-glue-samples /tree/master/ /development/ GlueCustomConnectors /README.md
. GlueSparkRuntime -
Implémentez le pilote JDBC chargé de récupérer les données de la source de données. Reportez-vous à la documentation Java
pour Java SE 8. Créez un point d'entrée dans votre code qu'AWS Glue Studio Glue Studio utilise pour localiser votre connecteur. Le champ Class name (Nom de classe) doit être le chemin complet de votre pilote JDBC.
-
Utilisation de l'API
GlueContext
pour lire les données avec le connecteur. Les utilisateurs peuvent ajouter plus d'options d'entrée dans la console AWS Glue Studio Glue Studio pour configurer la connexion à la source de données, si nécessaire. Pour un exemple de code qui montre comment lire et écrire dans une base de données JDBC avec un connecteur JDBC personnalisé, voir Valeurs personnalisées et ConnectionType. AWS Marketplace
Exemples d'utilisation de connecteurs personnalisés avec AWS Glue Studio Glue Studio
Vous pouvez consulter les blogs suivants pour des exemples d'utilisation de connecteurs personnalisés :
-
Apache Hudi : Écrire dans des tables Apache Hudi à l'aide du AWS Glue connecteur personnalisé
-
Google BigQuery : migration de données de Google vers Amazon S3 BigQuery à l'aide de connecteurs AWS Glue personnalisés
-
Snowflake (JDBC) : Exécution de transformations de données à l'aide de Snowflake et AWS Glue
-
SingleStore: Création d'un ETL rapide à l'aide SingleStore de et AWS Glue
Salesforce : Ingérez les données Salesforce dans Amazon S3 à l'aide du connecteur personnalisé CData JDBC avec AWS Glue
- -
Amazon Relational Database Service (Amazon RDS) : création de tâches ETL AWS Glue Spark en apportant vos propres pilotes JDBC pour
Amazon RDS -
MySQL (JDBC) : https://github.com/aws-samples/ aws-glue-samples /blob/master/ GlueCustomConnectors /development/spark/
SQL.scala SparkConnectorMy
Développement de AWS Glue connecteurs pour AWS Marketplace
En tant que AWS partenaire, vous pouvez créer des connecteurs personnalisés et les télécharger AWS Marketplace pour les vendre aux AWS Glue clients.
Le processus de développement du code du connecteur est le même que pour les connecteurs personnalisés, mais le processus de téléchargement et de vérification du code du connecteur est plus détaillé. Reportez-vous aux instructions de la section Création de connecteurs pour AWS Marketplace
Restrictions d'utilisation des connecteurs et des connexions dans AWS Glue Studio Glue Studio
Lorsque vous utilisez des connecteurs personnalisés ou des connecteurs provenant de AWS Marketplace, prenez note des restrictions suivantes :
-
L'API testConnection n'est pas prise en charge avec les connexions créées pour les connecteurs personnalisés.
-
Le chiffrement du mot de passe de connexion Data Catalog n'est pas pris en charge avec les connecteurs personnalisés.
-
Vous ne pouvez pas utiliser de marque-pages de tâche si vous spécifiez un prédicat de filtre pour un nœud de source de données qui utilise un connecteur JDBC.
-
La création d'une connexion Marketplace n'est pas prise en charge en dehors de l'interface AWS Glue Studio utilisateur.