Intégration à d'autres AWS services

Bien que vous puissiez utiliser AWS Glue crawler s pour remplir le catalogue AWS Glue Data Catalog, plusieurs AWS services peuvent automatiquement s'intégrer au catalogue et le remplir pour vous. Les sections suivantes fournissent des informations supplémentaires sur les cas d'utilisation spécifiques pris en charge par AWS les services qui peuvent alimenter le catalogue de données.

AWS Lake Formation

AWS Lake Formation est un service qui facilite la configuration d'un lac de données sécurisé dans AWS. Lake Formation est construite sur cette AWS Glue base, et Lake Formation et AWS Glue partage la même chose AWS Glue Data Catalog. Vous pouvez enregistrer l'emplacement de vos données Amazon S3 auprès de Lake Formation et utiliser la console Lake Formation pour créer des bases de données et des tables dans le catalogue de AWS Glue données, définir des politiques d'accès aux données et auditer l'accès aux données dans votre lac de données à partir d'un emplacement central. Vous pouvez utiliser le contrôle d'accès détaillé de Lake Formation pour gérer les ressources de votre catalogue de données existantes et les emplacements de données Amazon S3.

Avec les données enregistrées auprès de Lake Formation, vous pouvez partager en toute sécurité les ressources du catalogue de données entre les principaux responsables, les AWS comptes, les AWS organisations et les unités organisationnelles d'IAM.

Pour plus d'informations sur la création de ressources de catalogue de données à l'aide de Lake Formation, consultez la section Création de tables et de bases de données de catalogue de données dans le guide du AWS Lake Formation développeur.

Amazon Athena

Amazon Athena utilise le catalogue de données pour stocker et récupérer les métadonnées des tables correspondant aux données Amazon S3 de votre AWS compte. Les métadonnées de la table permettent au moteur de requête Athena de savoir comment trouver, lire et traiter les données que vous souhaitez interroger.

Vous pouvez remplir le AWS Glue Data Catalog en utilisant directement les instructions CREATE TABLE Athena. Vous pouvez définir et renseigner manuellement le schéma et les métadonnées de partition dans le catalogue de données sans avoir à exécuter un robot d'exploration.

1. Dans la console Athena, créez une base de données qui stockera les métadonnées de la table dans le catalogue de données.

2. Utilisez l'CREATE EXTERNAL TABLEinstruction pour définir le schéma de votre source de données.

3. Utilisez la PARTITIONED BY clause pour définir les clés de partition si vos données sont partitionnées.

4. Utilisez la LOCATION clause pour spécifier le chemin Amazon S3 où vos fichiers de données réels sont stockés.

5. Exécutez l'instruction CREATE TABLE.

   Cette requête crée les métadonnées de table dans le catalogue de données en fonction du schéma et des partitions que vous avez définis, sans réellement analyser les données.

Vous pouvez interroger la table dans Athena, et elle utilisera les métadonnées du catalogue de données pour accéder à vos fichiers de données et les interroger dans Amazon S3.

Pour plus d'informations, consultez la section Création de bases de données et de tables dans le guide de l'utilisateur d'Amazon Athena.