Überlegungen und Einschränkungen beim Datenaustausch in Hive-Metadaten

Mit dem AWS Glue Data Catalog Metadatenverbund (Data Catalog Federation) können Sie den Datenkatalog mit externen Metastores verbinden, die Metadaten für Ihre Amazon S3 S3-Daten speichern, und Datenzugriffsberechtigungen mithilfe von AWS Lake Formation sicher verwalten.

Die folgenden Überlegungen und Einschränkungen gelten für Verbunddatenbanken, die aus Hive-Datenbanken erstellt werden:

Überlegungen

• AWS SAM Anwendungssupport — Sie sind verantwortlich für die Verfügbarkeit der bereitgestellten Anwendungsressourcen (Amazon API Gateway und AWS SAM der Lambda-Funktion). Stellen Sie sicher, dass die Verbindung zwischen dem AWS Glue Data Catalog und dem Hive-Metastore funktioniert, wenn Benutzer Abfragen ausführen.

• Versionsanforderung für Hive Metastore — Sie können Verbunddatenbanken nur mit Apache Hive Version 3 und höher erstellen.

• Anforderung einer zugewiesenen Datenbank — Jede Hive-Datenbank muss einer neuen Datenbank in Lake Formation zugeordnet werden.

• Verbundunterstützung auf Datenbankebene — Sie können nur auf Datenbankebene eine Verbindung zu Hive Metastore herstellen.

• Berechtigungen für Verbunddatenbanken — Die Berechtigungen, die auf eine Verbunddatenbank oder Tabellen unter einer Verbunddatenbank angewendet werden, bleiben auch dann bestehen, wenn eine Quelltabelle oder eine Datenbank gelöscht wird. Wenn die Quelldatenbank oder -tabelle neu erstellt wird, müssen Sie die Berechtigungen nicht erneut gewähren. Wenn eine Verbundtabelle mit Lake Formation Formation-Berechtigungen an der Quelle gelöscht wird, sind Lake Formation Formation-Berechtigungen weiterhin sichtbar, und Sie können sie bei Bedarf widerrufen.

  Wenn ein Benutzer eine Verbunddatenbank löscht, gehen alle zugehörigen Berechtigungen verloren. Durch das Neuerstellen derselben Datenbank mit demselben Namen werden die Lake Formation Formation-Berechtigungen nicht wiederhergestellt. Benutzer müssen erneut neue Berechtigungen einrichten.

• IAMAllowedPrincipal Gruppenberechtigungen für Verbunddatenbanken — Basierend auf dem DataLakeSettings kann Lake Formation einer virtuellen Gruppe mit dem Namen IAMAllowedPrincipal Berechtigungen für alle Datenbanken und Tabellen zuweisen. Das IAMAllowedPrincipal bezieht sich auf alle IAM Principals, die über IAM Principal- und AWS Glue Ressourcenrichtlinien Zugriff auf Data Catalog-Ressourcen haben. Wenn diese Berechtigungen für eine Datenbank oder eine Tabelle vorhanden sind, erhalten alle Prinzipale Zugriff auf die Datenbank oder Tabelle.

  Lake Formation erlaubt jedoch keine IAMAllowedPrincipal Berechtigungen für Tabellen in Verbunddatenbanken. Wenn Sie Verbunddatenbanken erstellen, stellen Sie sicher, dass Sie den CreateTableDefaultPermissions Parameter als leere Liste übergeben.

  Weitere Informationen finden Sie unter Ändern der Standardeinstellungen für Ihren Data Lake.

• Tabellen in Abfragen verknüpfen — Sie können Hive-Metastore-Tabellen mit systemeigenen Data Catalog-Tabellen verbinden, um Abfragen auszuführen.

Einschränkungen

• Einschränkung bei der Synchronisierung von Metadaten zwischen dem AWS Glue Data Catalog und dem Hive-Metastore — Nachdem Sie die Hive-Metastore-Verbindung hergestellt haben, müssen Sie eine Verbunddatenbank erstellen, um Metadaten im Hive-Metastore mit dem zu synchronisieren. AWS Glue Data Catalog Die Tabellen in der Verbunddatenbank werden zur Laufzeit synchronisiert, wenn Benutzer Abfragen ausführen.

• Einschränkung beim Erstellen neuer Tabellen in einer Verbunddatenbank — Sie können keine neuen Tabellen in einer Verbunddatenbank erstellen.

• Einschränkung von Datenberechtigungen — Support für Berechtigungen für Hive-Metastore-Tabellenansichten ist nicht verfügbar.