串流摄取
串流摄取直接以低延迟、高速度的方式将流数据从 Amazon Kinesis Data Streams
数据流
Amazon Redshift 预调配集群或 Amazon Redshift Serverless 工作组是串流使用者。实体化视图是从串流中读取的数据的着陆区，读取的数据将在到达时进行处理。例如，可以通过熟悉的 SQL 来使用 JSON 值并映射到实体化视图的数据列。在刷新实体化视图时，Redshift 会使用已分配 Kinesis 数据分片或 Kafka 分区中的数据，直到该视图与 Kinesis 流的 SEQUENCE_NUMBER 或 Kafka 主题的上一个 Offset 达到平衡。后续的实体化视图刷新会从上次刷新的最新 SEQUENCE_NUMBER 读取数据，直到与串流数据或主题数据相等为止。
串流摄取使用案例
Amazon Redshift 串流摄取的使用案例涉及处理会持续生成（串流）且必须在生成后的短时间内（低延迟）处理的数据。这称为近实时分析。数据来源多种多样，包括 IoT 设备、系统遥测数据，或热点网站或应用程序的点击流数据。
串流摄取注意事项
以下是设置串流摄取环境时有关性能和计费的重要注意事项和最佳实践。
自动刷新使用情况和激活 – 实体化视图的自动刷新查询被视为任何其他用户工作负载。自动刷新会在数据串流到达时从串流加载数据。
对于为串流摄取而创建的实体化视图，可以显式开启自动刷新。为此，请在实体化视图定义中指定
AUTO REFRESH。手动刷新是默认设置。要为现有实体化视图指定自动刷新以进行串流摄取，可以运行ALTER MATERIALIZED VIEW以开启此功能。有关更多信息，请参阅 CREATE MATERIALIZED VIEW 或 ALTER MATERIALIZED VIEW。-
串流摄取和 Amazon Redshift Serverless – 适用于预置集群上的 Amazon Redshift 串流摄取的相同设置和配置说明也适用于 Amazon Redshift Serverless 上的串流摄取。重要的是将 Amazon Redshift Serverless 配置为必要的 RPU 级别，以便支持具有自动刷新功能的串流摄取和其他工作负载。有关更多信息，请参阅 Amazon Redshift Serverless 的账单。
-
与 Amazon MSK 集群位于不同可用区的 Amazon Redshift 节点 – 当您配置串流摄取时，如果为 Amazon MSK 启用了机架感知功能，则 Amazon Redshift 会尝试连接到同一可用区中的 Amazon MSK 集群。如果您的所有节点都与 Amazon Redshift 集群位于不同的可用区，则会产生跨可用区的数据传输费用。为避免这种情况，请在与 Redshift 预置集群或工作组相同的可用区中至少保留一个 Amazon MSK 代理集群节点。
-
刷新起始位置 – 创建实体化视图后，其初始刷新从 Kinesis 串流的
TRIM_HORIZON或从 Amazon MSK 主题的偏移 0 开始。 -
数据格式 – 支持的数据格式仅限于可以从
VARBYTE转换的那些格式。有关更多信息，请参阅VARBYTE 类型 和VARBYTE 运算符。 将记录附加到表 - 您可以运行
ALTER TABLE APPEND，以从现有源实体化视图中将行附加到目标表。仅当将实体化视图配置为串流摄取时，此操作才会起作用。有关更多信息，请参阅 ALTER TABLE APPEND。运行 TRUNCATE 或 DELETE - 您可以使用以下几种方法，从用于串流摄取的实体化视图中删除记录：
流式摄取最佳实践和建议
在某些情况下，系统会向您提供有关如何配置流式摄取的选项。我们建议您遵循以下最佳实践。这些实践基于我们自己的测试，以及帮助客户避免导致数据丢失的问题时学到的经验教训。
从流式数据中提取值 – 如果您在实体化视图定义中使用 JSON_EXTRACT_PATH_TEXT 函数分解传入的流式 JSON，这可能会对性能和延迟造成极大的影响。这是因为，对每一个使用 JSON_EXTRACT_PATH_TEXT 提取的列，都会重新解析传入的 JSON。之后就会运行所有的数据类型转换、筛选和业务逻辑。这意味着，如果您从 JSON 数据中提取 10 列，每条 JSON 记录都会被解析 10 次，其中包括类型转换和其他逻辑。这会导致摄取延迟时间更长。我们推荐的另一种方法是使用 JSON_PARSE 函数，将 JSON 记录转换为 Redshift 的 SUPER 数据类型。在流式数据进入实体化视图后，使用 PartiQL 从 JSON 数据的 SUPER 表示形式中提取各个字符串。有关更多信息，请参阅查询半结构化数据。
同样重要的是要注意，JSON_EXTRACT_PATH_TEXT 的数据大小最大值为 64KB。因此，如果任何 JSON 记录大于 64KB，那么使用 JSON_EXTRACT_PATH_TEXT 处理记录会导致错误。
将 Amazon Kinesis Data Streams 流或 Amazon MSK 主题映射到 Amazon Redshift 流式摄取实体化视图 – 我们不建议创建多个流式摄取实体化视图，来从单个 Amazon Kinesis Data Streams 流或 Amazon MSK 主题中摄取数据。这是因为，对于 Kinesis Data Streams 流中的每个分片或 Kafka 主题中的每个分区，每个实体化视图都会创建一个使用者。这会导致节流，或者超出流或主题的吞吐量。这还可能导致成本增加，因为您会多次摄取相同的数据。我们建议您为每个流或主题创建一个流式实体化视图。
如果您的应用场景要求您将一个 KDS 流或 MSK 主题中的数据放入多个实体化视图中，在执行操作之前，请先参考 AWS 大数据博客
，尤其是 Best practices to implement near-real-time analytics using Amazon Redshift Streaming Ingestion with Amazon MSK 。
使用串流摄取与在 Amazon S3 中暂存数据进行比较
有多种选项可以将数据流式传输到 Amazon Redshift 或 Amazon Redshift Serverless。两个众所周知的选项是串流摄取（如本主题所述），或者使用 Firehose 设置到 Amazon S3 的传输流。以下列表描述了每种方法：
从 Kinesis Data Streams 或 Amazon Managed Streaming for Apache Kafka 到 Amazon Redshift 或 Amazon Redshift Serverless 的串流摄取涉及配置实体化视图来接收数据。
使用 Kinesis Data Streams 将数据传输到 Amazon Redshift 并通过 Firehose 进行流式传输的过程涉及将源流连接到 Amazon Data Firehose，然后等待 Firehose 在 Amazon S3 中暂存数据。此过程使用不同大小的批次，缓冲间隔长度各不相同。在流式传输到 Amazon S3 后，Firehose 会启动一个 COPY 命令来加载数据。
通过串流摄取，您可以绕过第二个过程所需的几个步骤：
您不必将数据发送到 Amazon Data Firehose 传输流，因为通过串流摄取，数据可以直接从 Kinesis Data Streams 发送到 Redshift 数据库中的实体化视图。
您不必将流式传输的数据存入 Amazon S3，因为串流摄取数据会直接传送到 Redshift 实体化视图。
您不必编写和运行 COPY 命令，因为实体化视图中的数据是直接从流中刷新的。将数据从 Amazon S3 加载到 Redshift 并不是该过程的一部分。
请注意，串流摄取仅限于来自 Amazon Kinesis Data Streams 的流和来自 Amazon MSK 的主题。要从 Kinesis Data Streams 流式传输到 Amazon Redshift 以外的目标，可能需要一个 Firehose 传输流。有关更多信息，请参阅 Sending Data to an Amazon Data Firehose Delivery Stream。
注意事项
以下是串流摄取到 Amazon Redshift 的注意事项。
| 特征或操作 | 描述 |
|---|---|
| Kafka 主题长度限制 | 不能使用名称超过 128 个字符（不包括引号）的 Kafka 主题。有关更多信息，请参阅名称和标识符。 |
| 实体化视图的增量刷新和联接 | 实体化视图必须以递增方式维护。Kinesis 或 Amazon MSK 无法完全重新计算，因为在默认情况下，它们不会保留过去 24 小时或 7 天的串流或主题历史记录。您可以在 Kinesis 或 Amazon MSK 中设置更长的数据留存期。但是，这会导致需要更多的维护和成本。此外，在 Kinesis 流或 Amazon MSK 主题上创建的实体化视图目前不支持联接。创建串流或主题的实体化视图后，您可以创建另一个实体化视图，以用于将串流实体化视图联接到其他实体化视图、表或视图。 有关更多信息，请参阅 REFRESH MATERIALIZED VIEW。 |
| 记录解析 | Amazon Redshift 串流摄取不支持解析 Kinesis Producer Library 聚合的记录（KPL 关键概念 - 聚合）。聚合的记录摄取后将存储为二进制协议缓冲区数据。（有关更多信息，请参阅协议缓冲 |
| 解压缩 |
|
| 最大记录大小 | Amazon Redshift 可以从 Kinesis 或 Amazon MSK 摄取的任何记录字段的最大大小略小于 1MB。以下几点详细说明了该行为：
注意对于来自 Kinesis 或 Amazon MSK 的串流摄取，Amazon Redshift 支持最大 1,024,000 字节的数据大小，尽管 Amazon Redshift 支持最大 16 MB 的 |
| 错误记录 | 在每种情况下，如果由于数据的大小超过最大大小而无法将记录摄取到 Redshift，则会跳过该记录。在这种情况下，实体化视图刷新仍然会成功，并且每条错误记录的一段会写入到 SYS_STREAM_SCAN_ERRORS 系统表中。系统不会跳过由业务逻辑导致的错误，例如计算错误或类型转换产生的错误。在向实体化视图定义添加逻辑之前，请仔细测试逻辑，以避免出现这些错误。 |
| Amazon MSK 多 VPC 私有连接 | Redshift 串流摄取目前不支持 Amazon MSK 多 VPC 私有连接。另外，您也可以使用 VPC 对等连接来连接 VPC，或使用 AWS Transit Gateway 通过中央枢纽连接 VPC 和本地网络。上述任一方法都可以让 Redshift 与 Amazon MSK 集群或与另一个 VPC 中的 Amazon MSK Serverless 进行通信。 |
