Hive メタデータストアのデータ共有に関する考慮事項と制限事項

AWS Glue Data Catalog メタデータフェデレーション (Data Catalog フェデレーション) を使用すると、Data Catalog を Amazon S3 データのメタデータを保存する外部メタストアに接続し、 を使用してデータアクセス許可を安全に管理できます AWS Lake Formation。

Hive データベースから作成されたフェデレーションデータベースには、以下の考慮事項と制限事項が適用されます。

考慮事項

• AWS SAM アプリケーションサポート — AWS SAM デプロイするアプリケーションリソース (Amazon API Gateway および Lambda 関数) の可用性は、お客様の責任となります。ユーザーがクエリを実行するときに、 AWS Glue Data Catalog と Hive メタストア間の接続が機能していることを確認します。

• Hive メタストアのバージョン要件 — Apache Hive バージョン 3 以降でのみフェデレーションデータベースを作成できます。

• マッピングされたデータベースの要件 – Hive の各データベースは、Lake Formation の新しいデータベースにマッピングする必要があります。

• データベースレベルのフェデレーションサポート – Hive メタストアにはデータベースレベルでのみ接続できます。

• フェデレーションデータベースのアクセス許可 – フェデレーションデータベースまたはフェデレーションデータベース内のテーブルに適用されたアクセス許可は、ソーステーブルまたはデータベースが削除された場合でも保持されます。ソースデータベースまたはテーブルを再作成するとき、アクセス許可を再付与する必要はありません。Lake Formation のアクセス許可を持つフェデレーションテーブルをソースで削除しても、Lake Formation のアクセス許可は引き続き表示され、必要に応じて取り消すことができます。

  ユーザーがフェデレーションデータベースを削除すると、対応するアクセス許可はすべて失われます。同じデータベースを同じ名前で再作成しても、Lake Formation のアクセス許可は回復しません。ユーザーは新しいアクセス許可を再度設定する必要があります。

• フェデレーティッドデータベースに対する IAM AllowedPrincipal グループのアクセス許可 – に基づいてDataLakeSettings、Lake Formation はすべてのデータベースとテーブルにアクセス許可を という名前の仮想グループに設定する場合がありますIAMAllowedPrincipal。IAMAllowedPrincipal は、IAM プリンシパルポリシーとリソース AWS Glue ポリシーを介して Data Catalog リソースにアクセスできるすべての IAM プリンシパルを指します。これらのアクセス許可がデータベースまたはテーブルに存在する場合、すべてのプリンシパルにデータベースまたはテーブルへのアクセス許可が付与されます。

  ただし、Lake Formation では、フェデレーションデータベース内のテーブルに対する IAMAllowedPrincipal アクセス許可は許可されていません。フェデレーションデータベースを作成するときは、必ず CreateTableDefaultPermissions パラメータを空のリストとして渡してください。

  詳細については、「データレイクのデフォルト設定の変更」を参照してください。

• クエリでのテーブルの結合 – Hive メタストアテーブルをデータカタログのネイティブテーブルと結合してクエリを実行できます。

制限事項

• AWS Glue Data Catalog と Hive メタストア間のメタデータの同期の制限 — Hive メタストア接続を確立したら、フェデレーティッドデータベースを作成して Hive メタストアのメタデータを と同期する必要があります AWS Glue Data Catalog。フェデレーションデータベースのテーブルは、ランタイム時にユーザーがクエリを実行すると同期されます。

• フェデレーションデータベースでの新規テーブル作成の制限 – フェデレーションデータベースでは新しいテーブルを作成できません。

• データのアクセス許可の制限 – Hive メタストアテーブルビューのアクセス許可のサポートはありません。