Optimización del rendimiento de las consultas de tablas de metadatos

Dado que Metadatos de S3 se basa en el formato de tabla de Apache Iceberg, puede optimizar el rendimiento y el costo de las consultas de las tablas de diario mediante intervalos de tiempo específicos.

Por ejemplo, la siguiente consulta SQL proporciona el nivel de sensibilidad de los nuevos objetos en un bucket de uso general de S3:

SELECT key, object_tags['SensitivityLevel'] 
FROM "b_general-purpose-bucket-name"."journal"
WHERE record_type = 'CREATE'
GROUP BY object_tags['SensitivityLevel']

Esta consulta examina toda la tabla de diario, lo que puede tardar mucho tiempo en ejecutarse. Para mejorar el rendimiento, puede incluir la columna record_timestamp para centrarse en un intervalo de tiempo específico. También recomendamos utilizar el nombre completo de la tabla, que puede encontrar en la consola de Amazon S3, en la página de detalles de configuración de metadatos, en la pestaña Metadatos del bucket de uso general. Aquí tiene una versión actualizada de la consulta anterior que examina los nuevos objetos del último mes:

SELECT key, object_tags['SensitivityLevel'] 
FROM b_general-purpose-bucket-name"."aws-s3.b_general-purpose-bucket-name.journal"
WHERE record_type = 'CREATE'
AND record_timestamp > (CURRENT_TIMESTAMP – interval '1' month)
GROUP BY object_tags['SensitivityLevel']

Para mejorar el rendimiento de las consultas en las tablas de inventario, asegúrese de consultar solo las columnas mínimas que necesite.