Définition manuelle des métadonnées

Le catalogue de AWS Glue données est un référentiel central qui stocke les métadonnées relatives à vos sources de données et à vos ensembles de données. Bien qu'un robot d'exploration puisse automatiquement explorer et renseigner les métadonnées des sources de données prises en charge, il existe certains scénarios dans lesquels vous devrez peut-être définir les métadonnées manuellement dans le catalogue de données :

• Formats de données non pris en charge : si certaines de vos sources de données ne sont pas prises en charge par le robot d'exploration, vous devez définir manuellement les métadonnées de ces sources de données dans le catalogue de données.

• Exigences relatives aux métadonnées personnalisées — Les métadonnées AWS Glue crawler sont déduites en fonction de règles et de conventions prédéfinies. Si vous avez des exigences spécifiques en matière de métadonnées qui ne sont pas couvertes par les métadonnées AWS Glue crawler déduites, vous pouvez définir manuellement les métadonnées pour répondre à vos besoins

• Gouvernance et standardisation des données — Dans certains cas, vous souhaiterez peut-être mieux contrôler les définitions des métadonnées pour des raisons de gouvernance, de conformité ou de sécurité des données. La définition manuelle des métadonnées vous permet de vous assurer que celles-ci sont conformes aux normes et politiques de votre organisation.

• Espace réservé pour une future ingestion de données : si certaines de vos sources de données ne sont pas immédiatement disponibles ou accessibles, vous pouvez créer des tables de schéma vides en tant qu'espaces réservés. Une fois les sources de données disponibles, vous pouvez remplir les tables avec les données réelles, tout en conservant la structure prédéfinie.

Pour définir les métadonnées manuellement, vous pouvez utiliser la AWS Glue console, la console Lake Formation, AWS Glue l'API ou le AWS Command Line Interface (AWS CLI). Vous pouvez créer des bases de données, des tables et des partitions, et spécifier des propriétés de métadonnées telles que les noms de colonnes, les types de données, les descriptions et d'autres attributs.