Consulta de tablas de Linux Foundation Delta Lake - Amazon Athena

Consulta de tablas de Linux Foundation Delta Lake

Linux Foundation Delta Lake es un formato de tabla para el análisis de macrodatos. Puede usar Amazon Athena para leer directamente las tablas de Delta Lake almacenadas en Amazon S3 sin tener que generar archivos de manifiesto ni ejecutar la instrucción MSCK REPAIR.

El formato de Delta Lake almacena los valores mínimo y máximo por columna de cada archivo de datos. La implementación de Athena utiliza esta información para permitir omitir archivos en los predicados a fin de evitar que se tengan en cuenta los archivos no deseados.

Consideraciones y limitaciones

La compatibilidad de Delta Lake Athena tiene las siguientes consideraciones y limitaciones:

  • Solo tablas con catálogo de AWS Glue: la compatibilidad nativa de Delta Lake solo se admite a través de tablas registradas con AWS Glue. Si tiene una tabla de Delta Lake registrada en otro metaalmacén, puede conservarla y tratarla como su metaalmacén principal. Como los metadatos de Delta Lake se almacenan en el sistema de archivos (por ejemplo, en Amazon S3) y no en el metaalmacén, Athena solo requiere la propiedad de ubicación de AWS Glue para leer las tablas de Delta Lake.

  • Solo motor V3: las consultas de Delta Lake solo se admiten en la versión 3 del motor Athena. Debe asegurarse de que el grupo de trabajo que cree esté configurado para utilizar la versión 3 del motor Athena.

  • Versión de Delta Lake: Athena utiliza la versión 2.0.2 de Delta Lake.

  • No hay compatibilidad con viajes en el tiempo: no hay compatibilidad con consultas que utilicen las capacidades de viaje en el tiempo de Delta Lake.

  • Solo lectura: las instrucciones DML de escritura como UPDATE, INSERT o DELETE no se admiten.

  • Soporte de Lake Formation: la integración de Lake Formation se encuentra disponible para las tablas de Delta Lake con su esquema sincronizado con AWS Glue. A fin de obtener más información, consulte Uso de AWS Lake Formation con Amazon Athena y Configuración de permisos para una tabla de Delta Lake en la Guía para desarrolladores de AWS Lake Formation.

  • Compatibilidad con DDL limitada: se admiten las siguientes instrucciones DDL: CREATE EXTERNAL TABLE, SHOW COLUMNS, SHOW TBLPROPERTIES, SHOW PARTITIONS, SHOW CREATE TABLE y DESCRIBE. Para obtener información sobre el uso de la instrucción CREATE EXTERNAL TABLE, consulte la sección Introducción.

  • No se admite la omisión de objetos de S3 Glacier: si los objetos de la tabla de Linux Foundation Delta Lake se encuentran en una clase de almacenamiento de Amazon S3 Glacier, establecer la propiedad de la tabla read_restored_glacier_objects en false no tendrá ningún efecto.

    Suponga, por ejemplo, que ejecuta el siguiente comando:

    ALTER TABLE table_name SET TBLPROPERTIES ('read_restored_glacier_objects' = 'false')

    En el caso de las tablas de Iceberg y Delta Lake, el comando produce el error Clave de propiedad de tabla no compatible: read_restored_glacier_objects. En el caso de las tablas de Hudi, el comando ALTER TABLE no produce ningún error, pero los objetos de Amazon S3 Glacier siguen sin omitirse. Al ejecutar consultas SELECT después del comando ALTER TABLE, se siguen devolviendo todos los objetos.

Tipos de datos de columnas sin particiones compatibles

En el caso de las columnas sin particiones, se admiten todos los tipos de datos que admite Athena excepto CHAR (CHAR no se admite en el propio protocolo de Delta Lake). Los tipos de datos admitidos incluyen:

boolean tinyint smallint integer bigint double float decimal varchar string binary date timestamp array map struct

Tipos de datos de columnas de particiones compatibles

Para las columnas de particiones, Athena admite tablas con los siguientes tipos de datos:

boolean integer smallint tinyint bigint decimal float double date timestamp varchar

Para más información sobre los tipos de datos en Athena, consulte Tipos de datos en Amazon Athena.

Introducción

Para poder consultarla, su tabla de Delta Lake debe existir en AWS Glue. Si la tabla está en Amazon S3, pero no en AWS Glue, ejecute una instrucción CREATE EXTERNAL TABLE con la siguiente sintaxis. Si la tabla ya existe en AWS Glue (por ejemplo, porque está usando Apache Spark u otro motor con AWS Glue), puede omitir este paso.

CREATE EXTERNAL TABLE [db_name.]table_name LOCATION 's3://DOC-EXAMPLE-BUCKET/your-folder/' TBLPROPERTIES ('table_type' = 'DELTA')

Tenga en cuenta la omisión de las definiciones de columnas, la biblioteca SerDe y otras propiedades de tablas. A diferencia de las tablas de Hive tradicionales, los metadatos de las tablas de Delta Lake se deducen del registro de transacciones de Delta Lake y se sincronizan directamente con AWS Glue.

nota

En el caso de las tablas de Delta Lake, no se permiten instrucciones CREATE TABLE que incluyan más que las propiedades LOCATION y table_type.

Lectura de las tablas de Delta Lake

Para consultar una tabla de Delta Lake, utilice la sintaxis SELECT SQL estándar:

[ WITH with_query [, ...] ]SELECT [ ALL | DISTINCT ] select_expression [, ...] [ FROM from_item [, ...] ] [ WHERE condition ] [ GROUP BY [ ALL | DISTINCT ] grouping_element [, ...] ] [ HAVING condition ] [ { UNION | INTERSECT | EXCEPT } [ ALL | DISTINCT ] select ] [ ORDER BY expression [ ASC | DESC ] [ NULLS FIRST | NULLS LAST] [, ...] ] [ OFFSET count [ ROW | ROWS ] ] [ LIMIT [ count | ALL ] ]

Para obtener más información acerca de la sintaxis SELECT, consulte SELECT en la documentación de Athena.

El formato de Delta Lake almacena los valores mínimo y máximo por columna de cada archivo de datos. Athena utiliza esta información para permitir omitir archivos en los predicados a fin de evitar que se tengan en cuenta los archivos innecesarios.

Sincronización de metadatos de Delta Lake

Athena sincroniza los metadatos de la tabla, incluidos el esquema, las columnas de partición y las propiedades de la tabla, con AWS Glue si usa Athena para crear su tabla de Delta Lake. A medida que pasa el tiempo, estos metadatos pueden perder su sincronización con los metadatos de la tabla subyacente en el registro de transacciones. Para mantener su tabla actualizada, puede elegir una de las siguientes opciones:

Tenga en cuenta que las siguientes características requieren que su esquema de AWS Glue tenga siempre el mismo esquema que el registro de transacciones:

  • Lake Formation

  • Vistas

  • Filtros de filas y columnas

Si su flujo de trabajo no requiere ninguna de estas funciones y prefiere no mantener esta compatibilidad, puede utilizar el DDL CREATE TABLE en Athena y, a continuación, agregar la ruta de Amazon S3 como parámetro SerDe en AWS Glue.

Para crear una tabla de Delta Lake con las consolas de Athena y AWS Glue
  1. Abra la consola de Athena en https://console.aws.amazon.com/athena/.

  2. En el editor de consultas de Athena, utilice el siguiente DDL para crear la tabla de Delta Lake. Tenga en cuenta que cuando utilice este método, el valor de TBLPROPERTIES debe ser 'spark.sql.sources.provider' = 'delta' y no 'table_type' = 'delta'.

    Tenga en cuenta que este mismo esquema (con una sola columna con el nombre col del tipo array<string>) se inserta cuando utiliza Apache Spark (Athena para Apache Spark) o la mayoría de los demás motores a fin de crear la tabla.

    CREATE EXTERNAL TABLE [db_name.]table_name(col array<string>) LOCATION 's3://DOC-EXAMPLE-BUCKET/your-folder/' TBLPROPERTIES ('spark.sql.sources.provider' = 'delta')
  3. Abra la consola de AWS Glue en https://console.aws.amazon.com/glue/.

  4. En el panel de navegación, elija Catálogo de datos, Tablas.

  5. En la lista de tablas, elija el enlace de su tabla.

  6. En la página de la tabla, seleccione Acciones, Editar tabla.

  7. En la sección de Parámetros Serde, agregue la clave path con el valor s3://DOC-EXAMPLE-BUCKET/your-folder/.

  8. Seleccione Guardar.

Véase también

Para obtener información sobre el uso de las tablas de Delta Lake con AWS Glue y cómo consultarlas con Athena, consulte Handle UPSERT data operations using open-source Delta Lake and AWS Glue en el Blog de macrodatos de AWS.