查询数据湖

您可以使用 Amazon Redshift Spectrum 在 Amazon S3 文件中查询数据，而不必将数据加载到 Amazon Redshift 表中。Amazon Redshift 提供了 SQL 功能，专为对存储在 Amazon Redshift 集群和 Amazon S3 数据湖中的超大型数据集进行快速在线分析处理（OLAP）而设计。您可以查询多种格式的数据，包括 Parquet、ORC、RCFile、TextFile、SequenceFile、RegexSerde、OpenCSV 和 AVRO。您可以创建外部架构和表以定义 Amazon S3 中文件的结构。然后，您可以使用外部数据目录，如 AWS Glue 或您自己的 Apache Hive 元存储。对数据目录类型进行的更改将立即对您的任何 Amazon Redshift 集群可用。

在您的数据注册到 AWS Glue Data Catalog 并启用 AWS Lake Formation 后，您可以使用 Redshift Spectrum 查询它。

Redshift Spectrum 驻留在独立于您的集群的专用 Amazon Redshift 服务器上。Redshift Spectrum 将很多计算密集型任务（如谓词筛选和聚合）推送到 Redshift Spectrum 层。Redshift Spectrum 还可以通过智能方式扩展，以利用大规模并行处理。

您可在一个或多个列上对外部表进行分区，以通过消除分区来优化查询性能。您可以使用 Amazon Redshift 表查询和联接外部表。您可以从多个 Amazon Redshift 集群中访问外部表并在同一 AWS 区域的任何集群中查询 Amazon S3 数据。更新 Amazon S3 数据文件后，立即可从您的任何 Amazon Redshift 集群查询到该数据。

有关 Redshift Spectrum 的更多信息，包括如何使用 Redshift Spectrum 和数据湖，请参阅 Amazon Redshift 数据库开发人员指南中的开始使用 Amazon Redshift Spectrum。