Considérations et limites relatives au partage des données du magasin de métadonnées Hive

Grâce à la fédération des AWS Glue Data Catalog métadonnées (fédération du catalogue de données), vous pouvez connecter le catalogue de données à des métastores externes qui stockent les métadonnées de vos données Amazon S3 et gérer en toute sécurité les autorisations d'accès aux données à l'aide de. AWS Lake Formation

Les considérations et limitations suivantes s'appliquent aux bases de données fédérées créées à partir de bases de données Hive :

Considérations

• AWS SAM support des applications : vous êtes responsable de la disponibilité des ressources applicatives AWS SAM déployées (Amazon API Gateway et de la fonction Lambda). Assurez-vous que la connexion entre le métastore AWS Glue Data Catalog et le métastore Hive fonctionne lorsque les utilisateurs exécutent des requêtes.

• Exigence de version du métastore Hive — Vous ne pouvez créer des bases de données fédérées qu'à l'aide d'Apache Hive version 3 ou supérieure.

• Exigence de base de données mappée — Chaque base de données Hive doit être mappée à une nouvelle base de données dans Lake Formation.

• Support de fédération au niveau de la base de données : vous pouvez vous connecter au métastore Hive uniquement au niveau de la base de données.

• Autorisations sur les bases de données fédérées : les autorisations appliquées à une base de données fédérée ou aux tables d'une base de données fédérée sont conservées même lorsqu'une table source ou une base de données est supprimée. Lorsque la base de données ou la table source est recréée, il n'est pas nécessaire de réoctroyer les autorisations. Lorsqu'une table fédérée dotée d'autorisations Lake Formation est supprimée à la source, les autorisations Lake Formation sont toujours visibles et vous pouvez les révoquer si nécessaire.

  Si un utilisateur supprime une base de données fédérée, toutes les autorisations correspondantes sont perdues. La recréation de la même base de données portant le même nom ne permet pas de récupérer les autorisations de Lake Formation. Les utilisateurs devront à nouveau configurer de nouvelles autorisations.

• Autorisations de AllowedPrincipal groupe IAM sur les bases de données fédérées : sur cette baseDataLakeSettings, Lake Formation peut attribuer des autorisations à toutes les bases de données et tables à un groupe virtuel nommé. IAMAllowedPrincipal Il IAMAllowedPrincipal fait référence à tous les principaux IAM qui ont accès aux ressources du catalogue de données par le biais des politiques principales IAM et AWS Glue des politiques de ressources. Si ces autorisations existent sur une base de données ou une table, tous les principaux ont accès à la base de données ou à la table.

  Cependant, Lake Formation n'autorise pas IAMAllowedPrincipal les autorisations sur les tables des bases de données fédérées. Lorsque vous créez des bases de données fédérées, assurez-vous de transmettre le CreateTableDefaultPermissions paramètre sous forme de liste vide.

  Pour plus d’informations, consultez Modification des paramètres par défaut de votre lac de données.

• Joindre des tables dans des requêtes : vous pouvez joindre des tables de métastore Hive à des tables natives de Data Catalog pour exécuter des requêtes.

Limites

• Limitation de synchronisation des métadonnées entre le métastore AWS Glue Data Catalog et le métastore Hive — Après avoir établi la connexion au métastore Hive, vous devez créer une base de données fédérée pour synchroniser les métadonnées du métastore Hive avec le. AWS Glue Data Catalog Les tables de la base de données fédérée sont synchronisées au moment de l'exécution lorsque les utilisateurs exécutent des requêtes.

• Limitation relative à la création de nouvelles tables dans une base de données fédérée : vous ne pourrez pas créer de nouvelles tables dans des bases de données fédérées.

• Limitation des autorisations relatives aux données : le support pour les autorisations sur les vues tabulaires du métastore Hive n'est pas disponible.