Intégration des données Amazon Q dans AWS Glue

L'intégration de données dans Amazon Q AWS Glue est une nouvelle fonctionnalité d'IA générative AWS Glue qui permet aux ingénieurs de données et aux développeurs ETL de créer des tâches d'intégration de données en langage naturel. Les ingénieurs et les développeurs peuvent demander à Amazon Q de créer des jobs, de résoudre des problèmes et de répondre à des questions sur l'intégration des données AWS Glue et sur l'intégration des données.

Qu’est-ce qu’Amazon Q ?

Note

Propulsé par Amazon Bedrock : AWS implémente la détection automatique des abus. L'intégration des données Amazon Q étant basée sur Amazon Bedrock, les utilisateurs peuvent tirer pleinement parti des contrôles mis en œuvre dans Amazon Bedrock pour renforcer la sûreté, la sécurité et l'utilisation responsable de l'intelligence artificielle (IA).

Amazon Q est un assistant conversationnel basé sur l'intelligence artificielle générative (IA) qui peut vous aider à comprendre, créer, étendre et exploiter AWS des applications. Le modèle sur lequel repose Amazon Q a été enrichi d'un AWS contenu de haute qualité afin de vous fournir des réponses plus complètes, exploitables et référencées afin d'accélérer votre développement. AWS Pour plus d’informations, consultez la rubrique Qu’est-ce qu’Amazon Q ?

Qu’est-ce que l’intégration des données Amazon Q dans AWS Glue ?

L'intégration des données Amazon Q AWS Glue inclut les fonctionnalités suivantes :

• Chat : Amazon Q Data Integration in AWS Glue peut répondre à des questions en langage naturel en anglais sur AWS Glue des domaines tels que les connecteurs AWS Glue source et de destination, les tâches AWS Glue ETL, le catalogue de données, les robots d'exploration et AWS Lake Formation d'autres documents relatifs aux fonctionnalités, ainsi que les meilleures pratiques. L'intégration des données Amazon Q AWS Glue répond par des step-by-step instructions et inclut des références à ses sources d'informations.

• Génération de code d'intégration de données — L'intégration de données Amazon Q AWS Glue permet de répondre à des questions sur les scripts AWS Glue ETL et de générer du nouveau code à partir d'une question en langage naturel en anglais.

• Résolution des problèmes : l'intégration des données dans Amazon Q AWS Glue est spécialement conçue pour vous aider à comprendre les erreurs dans les AWS Glue tâches et fournit des step-by-step instructions pour déterminer la cause de vos problèmes et les résoudre.

Note

L'intégration des données Amazon Q dans Amazon Q AWS Glue n'utilise pas le contexte de votre conversation pour éclairer les réponses futures pendant toute la durée de votre conversation. Chaque conversation avec l'intégration de données Amazon Q AWS Glue est indépendante de vos conversations précédentes ou futures.

Vous utilisez l’intégration des données Amazon Q dans AWS Glue ?

Dans le panneau Amazon Q, vous pouvez demander à Amazon Q de générer du code pour un script AWS Glue ETL, ou de répondre à une question sur les AWS Glue fonctionnalités ou de résoudre une erreur. La réponse est un script ETL contenant PySpark des step-by-step instructions pour personnaliser le script, le réviser et l'exécuter. Pour les questions, la réponse est générée à partir de la base de connaissances sur l’intégration des données, avec un résumé et l’URL de la source pour les références.

Par exemple, vous pouvez demander à Amazon Q de « Veuillez fournir un script Glue qui lit depuis Snowflake, renomme les champs et écrit sur Redshift » et en réponse, l'intégration des données Amazon Q AWS Glue renverra un script de AWS Glue tâche capable d'effectuer l'action demandée. Vous pouvez vérifier le code généré pour vous assurer qu’il répond à l’intention demandée. Si vous êtes satisfait, vous pouvez le déployer en tant que AWS Glue tâche en production. Vous pouvez résoudre les problèmes liés aux tâches en demandant à l’intégration d’expliquer les erreurs et les échecs et de proposer des solutions. Amazon Q peut répondre aux questions concernant les AWS Glue meilleures pratiques en matière d'intégration des données.

Voici des exemples de questions qui montrent comment l'intégration des données Amazon Q dans Amazon Q AWS Glue peut vous aider à tirer parti de ce qui suit AWS Glue :

AWS Glue Génération de code ETL :

• Écrivez un AWS Glue script qui lit le JSON depuis S3, transforme les champs à l'aide du mappage d'application et écrit sur Amazon Redshift

• Comment écrire un AWS Glue script pour lire depuis DynamoDB, appliquer la transformation et écrire DropNullFields dans S3 en tant que Parquet ?

• Donnez-moi un AWS Glue script qui lit depuis MySQL, supprime certains champs en fonction de ma logique métier et écrit dans Snowflake

• Rédigez une AWS Glue tâche à lire depuis DynamoDB et à écrire dans S3 au format JSON

• Aidez-moi à développer un AWS Glue script pour AWS Glue Data Catalog to S3

• Rédigez une AWS Glue tâche pour lire le JSON depuis S3, supprimer les valeurs nulles et écrire dans Redshift

AWS Glue explications sur les fonctionnalités :

• Comment utiliser la qualité AWS Glue des données ?

• Comment utiliser les signets AWS Glue d'offres d'emploi ?

• Comment activer la mise à l' AWS Glue échelle automatique ?

• Quelle est la différence entre les cadres AWS Glue dynamiques et les blocs de données Spark ?

• Quels sont les différents types de connexions pris en charge AWS Glue ?

AWS Glue résolution des problèmes :

• Comment résoudre les erreurs de mémoire insuffisante (OOM) sur les tâches ? AWS Glue

• Quels sont les messages d'erreur susceptibles de s'afficher lors de la configuration de la qualité AWS Glue des données et comment pouvez-vous les corriger ?

• Comment corriger une AWS Glue tâche avec le message d'erreur « Accès refusé à Amazon S3 » ?

• Comment résoudre les problèmes liés au transfert des données sur AWS Glue les tâches ?

Bonnes pratiques pour interagir avec l'intégration des données Amazon Q

Voici les meilleures pratiques pour interagir avec l'intégration des données Amazon Q :

• Lorsque vous interagissez avec l'intégration de données Amazon Q, posez des questions spécifiques, répétez lorsque vous avez des demandes complexes et vérifiez l'exactitude des réponses.

• Lorsque vous fournissez des instructions d'intégration de données en langage naturel, soyez aussi précis que possible pour aider l'assistant à comprendre exactement ce dont vous avez besoin. Au lieu de demander « extraire les données de S3 », fournissez plus de détails, tels que « écrivez un AWS Glue script qui extrait les fichiers JSON de S3 ».

• Vérifiez le script généré avant de l'exécuter pour garantir son exactitude. Si le script généré comporte des erreurs ou ne correspond pas à votre intention, fournissez des instructions à l'assistant pour savoir comment le corriger.

• La technologie d’IA générative est nouvelle et les réponses peuvent comporter des erreurs, parfois appelées hallucinations. Testez et passez en revue tout le code pour détecter des erreurs et des vulnérabilités avant de l’utiliser dans votre environnement ou votre charge de travail.

Intégration des données Amazon Q dans l'amélioration des AWS Glue services

Pour faciliter l'intégration des données Amazon Q et AWS Glue fournir les informations les plus pertinentes sur les AWS services, nous pouvons utiliser certains contenus d'Amazon Q, tels que les questions que vous posez à Amazon Q et ses réponses, afin d'améliorer le service.

Pour plus d'informations sur le contenu que nous utilisons et sur la manière de nous désinscrire, consultez l'amélioration du service Amazon Q Developer dans le guide de l'utilisateur Amazon Q Developer.

Considérations

Prenez en compte les éléments suivants avant d’utiliser l’intégration de données Amazon Q dans AWS Glue :

• Actuellement, la génération de code ne fonctionne qu'avec PySpark le noyau. Le code généré est destiné aux AWS Glue tâches basées sur Python Spark.

• Pour plus d'informations sur les combinaisons de fonctionnalités de génération de code prises en charge pour l'intégration de données Amazon Q dans AWS Glue, consultezFonctionnalités de génération de code prises en charge.