Uso AWS Lake Formation con Amazon Athena - AWS Lake Formation
Compatibilidad con formatos de tablas transaccionalesRecursos adicionales de

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Uso AWS Lake Formation con Amazon Athena

Amazon Athena es un servicio de consultas sin servidor que le ayuda a analizar datos estructurados, semiestructurados y no estructurados almacenados en Amazon S3. Puede usar Athena SQL para consultar datos de los formatos de datos CSVJSON, Parquet y Avro. Athena SQL también admite formatos de tabla como Apache Hive, ApacheHudi y Apache Iceberg. Athena se integra con AWS Glue Data Catalog para almacenar los metadatos de sus conjuntos de datos en Amazon S3. Athena puede usar Lake Formation para definir y mantener políticas de control de acceso en esos conjuntos de datos.

Estos son algunos casos de uso comunes en los que puede usar Lake Formation con Athena.

  • Utilice los permisos de Lake Formation para acceder a los recursos del Catálogo de datos (bases de datos y tablas) desde Athena. Puede usar el método de recurso designado o las etiquetas LF para definir los permisos en la base de datos y las tablas. Para obtener más información, consulte:

    nota

    Los permisos de Lake Formation solo se aplican cuando se utiliza Athena SQL para consultar datos de origen de Amazon S3 y metadatos en el catálogo de datos.

    Athena Spark no admite la consulta de tablas del catálogo de datos con permisos de Lake Formation. Los permisos de Lake Formation admiten operaciones de lectura y escritura en bases de datos y tablas.

    nota

    No puede aplicar filtros de datos cuando usa etiquetas LF para administrar los permisos en los recursos del Catálogo de datos.

  • Controle los resultados de las consultas con Filtros de datos en Lake Formation para asegurar las tablas de sus lagos de datos Amazon S3 mediante permisos de columna, fila y celda. Consulte la limitación de la proyección de particiones en la Guía del usuario de Amazon Athena.

  • Aplique un control de acceso detallado a los datos disponibles para el usuario de Athena basado en SAML Athena cuando ejecute consultas federadas.

    Athena JDBC y ODBC los conductores admiten la configuración del acceso federado a la fuente de datos mediante un proveedor de identidad (IdP) SAML basado en él. Utilice Amazon QuickSight integrado con Lake Formation con su IAM rol, SAML usuarios o grupos actuales para visualizar los resultados de las consultas de Athena.

    nota

    Los permisos de Lake Formation para SAML usuarios y grupos solo se aplicarán cuando envíes consultas a Athena con el controlador JDBC oODBC.

    Para obtener más información, consulte Uso de Lake Formation y Athena JDBC and ODBC drivers para obtener acceso federado a Athena.

    nota

    Actualmente, no se admite la autorización del acceso a SAML las identidades en Lake Formation en las siguientes regiones:

    • Medio Oriente (Baréin): me-south-1

    • Asia-Pacífico (Hong Kong): ap-east-1

    • África (Ciudad del Cabo): af-south-1

    • China (Ningxia): cn-northwest-1

    • Asia-Pacífico (Osaka): ap-northeast-3

  • Utilice Compartir datos entre cuentas en Lake Formation para consultar tablas en otra cuenta.

nota

Para obtener más información sobre las limitaciones al utilizar los permisos de Lake Formation para Views, consulte Consideraciones y limitaciones.

Compatibilidad con formatos de tablas transaccionales

Con los permisos de Lake Formation puede proteger sus datos transaccionales en sus lagos de datos basados en Amazon S3. La tabla siguiente muestra los formatos de tablas transaccionales compatibles con los permisos de Athena y Lake Formation. Lake Formation impone estos permisos cuando los usuarios de Athena ejecutan sus consultas.

Formato de tabla Descripción y operaciones permitidas Permisos de formación de lagos admitidos en Athena

Apache Hudi

Formato utilizado para simplificar el procesamiento incremental de datos y el desarrollo de canalizaciones de datos.

Athena admite operaciones de creación y lectura mediante formatos de tablas Apache Hudi en conjuntos de datos de Amazon S3 para los tipos de tablas Hudi Copy on Write (CoW) y Merge On Read (MoR). Athena no admite operaciones de escritura en tablas Hudi.

Utilice Athena para consultar conjuntos de datos de Hudi.

Utilice Filtrado de datos y seguridad de celda en Lake Formation para proteger la tabla de Hudi mediante permisos de tabla, columna, fila y celda.

Apache Iceberg

Iceberg administra grandes colecciones de archivos como tablas y admite operaciones de lago de datos analíticos modernos, como las consultas de inserción, actualización y eliminación de registros, y viajes en el tiempo.

Para obtener más información sobre la compatibilidad de Athena con las tablas Iceberg, consulte Uso de tablas Iceberg.

Son compatibles los permisos de tabla, columna, fila y celda. Actualmente, Lake Formation no admite la administración de permisos en operaciones de escritura como VACUUM, MERGE, UPDATE y OPTIMIZE en tablas en formatos de tabla abierta.

Linux Foundation Delta Lake

Delta Lake es un proyecto de código abierto que ayuda a implementar arquitecturas de lagos de datos modernas que se suelen crear en Amazon S3 o Hadoop Distributed File System (). HDFS

Athena admite tablas de Delta Lake creadas mediante una definición de tabla de manifiesto basada en enlaces simbólicos a partir de una tabla AWS Glue Data Catalog de Delta Lake.

Para obtener más información, consulte Rastrear las tablas de Delta Lake con rastreadores. AWS Glue

Athena (versión 3 del motor) admite la lectura de tablas nativas de Delta Lake.

Para obtener más información, consulte Presentamos el soporte nativo de Delta Lake para tablas con AWS Glue rastreadores.

Los permisos de tabla, columna, fila y celda son compatibles con las tablas de enlaces simbólicos y las tablas nativas de Delta Lake.

Recursos adicionales de

Publicaciones de blog, vídeos y talleres