Otimizar a performance das consultas de tabelas de metadados

Como o S3 Metadata é baseado no formato de tabela Apache Iceberg, você pode otimizar o desempenho e o custo das consultas a tabelas de diário usando intervalos de tempo específicos.

Por exemplo, a consulta SQL a seguir fornece o nível de sensibilidade de novos objetos em um bucket de uso geral do S3:

SELECT key, object_tags['SensitivityLevel'] 
FROM "b_general-purpose-bucket-name"."journal"
WHERE record_type = 'CREATE'
GROUP BY object_tags['SensitivityLevel']

Como essa consulta examina toda a tabela de diário, ela pode levar muito tempo para ser executada. Para melhorar a performance, você pode incluir a coluna record_timestamp para enfocar um intervalo de tempo específico. Também recomendamos usar o nome de tabela totalmente qualificado, que você pode encontrar na página de detalhes da configuração de metadados do console do Amazon S3, na guia Metadados do bucket de uso geral. Aqui está uma versão atualizada da consulta anterior que analisa novos objetos do mês passado:

SELECT key, object_tags['SensitivityLevel'] 
FROM b_general-purpose-bucket-name"."aws-s3.b_general-purpose-bucket-name.journal"
WHERE record_type = 'CREATE'
AND record_timestamp > (CURRENT_TIMESTAMP – interval '1' month)
GROUP BY object_tags['SensitivityLevel']

Para melhorar o desempenho das consultas em tabelas de inventário, consulte somente as colunas mínimas necessárias.