Consideraciones y limitaciones del uso compartido de datos del almacén de metadatos de Hive

Con la federación de AWS Glue Data Catalog metadatos (federación de catálogos de datos), puede conectar el catálogo de datos a metaalmacenes externos que almacenan los metadatos de sus datos de Amazon S3 y administrar de forma segura los permisos de acceso a los datos mediante AWS Lake Formation.

Las siguientes consideraciones y limitaciones se aplican a las bases de datos federadas que se crean a partir de bases de datos de Hive:

Consideraciones

• AWS SAM soporte de aplicaciones: usted es responsable de la disponibilidad de los recursos de la aplicación que se AWS SAM despliega (Amazon API Gateway y de la función Lambda). Asegúrese de que la conexión entre el metabastore de Hive AWS Glue Data Catalog y el metabastore de Hive funcione cuando los usuarios ejecuten consultas.

• Requisito de la versión de almacén de metadatos de Hive: puede crear bases de datos federadas con Apache Hive versión 3 o posterior.

• Requisito de base de datos mapeada: cada base de datos de Hive debe estar mapeada a una nueva base de datos en Lake Formation.

• Soporte de federación a nivel de base de datos: puede conectarse al metaalmacén de Hive a nivel de base de datos.

• Permisos en bases de datos federadas: los permisos aplicados a una base de datos federada o a las tablas de una base de datos federada persisten incluso cuando se elimina una tabla de origen o una base de datos. Cuando se vuelve a crear la base de datos o tabla de origen, no es necesario volver a conceder los permisos. Cuando se elimina una tabla federada con permisos de Lake Formation en el origen, los permisos de Lake Formation siguen siendo visibles y puede revocarlos si es necesario.

  Si un usuario elimina una base de datos federada, se pierden todos sus permisos correspondientes. Si se vuelve a crear la misma base de datos con el mismo nombre, no se recuperarán los permisos de Lake Formation. Los usuarios deberán volver a configurar los permisos nuevos.

• Permisos de AllowedPrincipal grupos de IAM en bases de datos federadas: según laDataLakeSettings, Lake Formation podría establecer permisos para todas las bases de datos y tablas de un grupo virtual denominado. IAMAllowedPrincipal IAMAllowedPrincipalSe refiere a todos los directores de IAM que tienen acceso a los recursos del catálogo de datos a través de las políticas principales y las políticas de recursos de IAM. AWS Glue Si estos permisos existen en una base de datos o una tabla, todas las entidades principales tienen acceso a la base de datos o tabla.

  Sin embargo, Lake Formation no permite permisos IAMAllowedPrincipal en las tablas de bases de datos federadas. Al crear bases de datos federadas, asegúrese de pasar el parámetro CreateTableDefaultPermissions como una lista vacía.

  Para obtener más información, consulte Cambiar la configuración predeterminada de su lago de datos.

• Unir tablas en las consultas: puede unir las tablas del metaalmacén de Hive con las tablas nativas del Catálogo de datos para ejecutar consultas.

Limitaciones

• Limitación en la sincronización de metadatos entre el metaalmacén de Hive AWS Glue Data Catalog y el metabastore de Hive: después de establecer la conexión con el metabastore de Hive, debe crear una base de datos federada para sincronizar los metadatos del metaalmacén de Hive con el. AWS Glue Data Catalog Las tablas de la base de datos federada se sincronizan en tiempo de ejecución cuando los usuarios ejecutan consultas.

• Limitación al crear tablas nuevas en una base de datos federada: no podrá crear tablas nuevas en bases de datos federadas.

• Limitación de permisos de datos: la compatibilidad con los permisos en las vistas de tabla del metaalmacén de Hive no está disponible.