查询元数据表
Amazon S3 元数据表存储在 AWS 托管式 S3 表存储桶中,该存储桶提供针对表格数据进行优化的存储。要查询元数据,可以将表存储桶与 Amazon SageMaker 智能湖仓集成。这种集成使用 AWS Glue Data Catalog 和 AWS Lake Formation,支持 AWS 分析服务自动发现和访问表数据。
在将表存储桶与 AWS Glue Data Catalog 集成后,可以使用 AWS 分析服务(如 Amazon Athena、Amazon EMR 和 Amazon Redshift)直接查询元数据表。还可以使用 Amazon QuickSight 通过查询数据创建交互式控制面板。
有关将 AWS 托管式 S3 表存储桶与 Amazon SageMaker 智能湖仓集成的更多信息,请参阅将 Amazon S3 表类数据存储服务与 AWS 分析服务结合使用。
还可以使用 AWS Glue Iceberg REST 端点、Amazon S3 表类数据存储服务 Iceberg REST 端点或适用于 Apache Iceberg 的 Amazon S3 表类数据存储服务目录客户端目录,通过 Apache Spark、Apache Trino 和支持 Apache Iceberg 格式的任何其它应用程序来查询元数据表。有关访问元数据表的更多信息,请参阅访问表数据。
可以使用任何支持 Apache Iceberg 格式的查询引擎来分析元数据表。例如,可以查询元数据表来执行以下操作:
-
发现存储使用规律和趋势
-
审计对象间的 AWS Key Management Service(AWS KMS)加密密钥使用情况
-
通过用户定义的元数据和对象标签搜索对象
-
了解对象元数据随时间的变化
-
了解何时更新或删除对象,包括发出请求的 AWS 账户 ID 或 IP 地址
还可以联接 S3 托管式元数据表和自定义元数据表,从而可以跨多个数据集进行查询。
查询定价注意事项
在元数据表上运行查询需支付额外费用。有关更多信息,请参阅您使用的查询引擎的定价信息。
有关提高查询的成本效益的信息,请参阅优化元数据表查询性能。