Hive 元数据存储数据共享注意事项和限制 - AWS Lake Formation

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

Hive 元数据存储数据共享注意事项和限制

借助 AWS Glue Data Catalog 元数据联合(数据目录联合),您可以将数据目录连接到存储您的 Amazon S3 数据元数据的外部元数据存储,并使用 AWS Lake Formation安全地管理数据访问权限。

以下注意事项和限制适用于从 Hive 数据库创建的联合数据库:

注意事项
  • AWS SAM 应用程序支持 — 您负责 AWS SAM 部署的应用程序资源(Amazon API Gateway 以及 Lambda 函数)的可用性。当用户运行查询时,请确保 AWS Glue Data Catalog 和 Hive 元数据仓之间的连接正常。

  • Hive 元存储版本要求 – 您只能使用 Apache Hive 版本 3 及更高版本创建联合数据库。

  • 映射数据库要求 — 每个 Hive 数据库都必须映射到 Lake Formation 中的新数据库。

  • 数据库级别联合身份验证支持 – 您只能在数据库级别连接到 Hive 元存储。

  • 对联合数据库的权限 – 即使删除了源表或数据库,应用于联合数据库或联合数据库下的表的权限也将保留。重新创建源数据库或表时,您无需重新授予权限。当在来源中删除具有 Lake Formation 权限的联合表时,Lake Formation 权限仍然显示,您可以根据需要撤销这些权限。

    如果用户删除联合数据库,则其所有相应权限都将丢失。重新创建同名的相同数据库将无法恢复 Lake Formation 权限。用户必须重新设置新权限。

  • IAMAllowedPrincipal联合数据库的@@ 组权限-基于此DataLakeSettings,Lake Formation 可能会将所有数据库和表的权限设置为名为的虚拟组IAMAllowedPrincipal。是IAMAllowedPrincipal指通过IAM委托人策略和 AWS Glue 资源策略有权访问数据目录资源的所有IAM委托人。如果对某数据库或表存在这些权限,则所有主体均被授予对该数据库或表的访问权限。

    但是,Lake Formation 不允许对联合数据库下的表实施 IAMAllowedPrincipal 权限。创建联合数据库时,请确保将 CreateTableDefaultPermissions 参数作为空列表传递。

    有关更多信息,请参阅 更改数据湖的默认设置

  • 在查询中联接表 – 您可以将 Hive 元存储表与数据目录本机表联接以运行查询。

限制
  • 在 AWS Glue Data Catalog 和 Hive 元数据仓之间同步元数据的限制 — 建立 Hive 元数据仓连接后,您需要创建一个联合数据库,以便将 Hive 元数据仓中的元数据与同步。 AWS Glue Data Catalog当用户运行查询时,联合数据库下的表将在运行时同步。

  • 有关在联合数据库下创建新表的限制 – 您将无法在联合数据库下创建新表。

  • 数据权限的限制 — 不支持对 Hive 元存储表视图的权限。