将 Amazon Data Firehose 流传输到亚马逊 S3 中的 Apache Iceberg Tables 处于预览阶段,可能会发生变化。
本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
(可选)配置记录转换和格式转换
配置 Amazon Data Firehose 以转换和转换您的记录数据。
在使用 AWS Lambda 转换源记录部分中,为以下字段提供值。
-
- 数据转换
-
要创建不转换传入数据的 Firehose 流,请不要选中 “启用数据转换” 复选框。
要指定 Lambda 函数以供 Firehose 在传入数据之前调用并用于在传入数据之前对其进行转换,请选中 “启用数据转换” 复选框。您可以使用其中一个 Lambda 蓝图配置新的 Lambda 函数,也可以选择现有的 Lambda 函数。您的 Lambda 函数必须包含 Firehose 所需的状态模型。有关更多信息,请参阅 在 Amazon Data Firehose 中转换源数据。
-
在 Convert record format (转换记录格式) 部分,为以下字段提供值:
- Record format conversion (记录格式转换)
-
要创建不转换传入数据记录格式的 Firehose 流,请选择 “已禁用”。
要转换传入记录的格式,选择 Enabled (启用),然后指定所需的输出格式。您需要指定一个 AWS Glue 表,其中包含您希望 Firehose 用来转换记录格式的架构。有关更多信息,请参阅 在 Amazon Data Firehose 中转换输入数据格式。
有关如何使用设置记录格式转换的示例 AWS CloudFormation,请参阅AWS:::KinesisFirehose: DeliveryStream。。
在来源设置部分,提供以下字段。
-
在 “转换记录” 下,选择以下选项之一:
如果您的目标是 Amazon S3 或 Splunk,请在解压缩源 CloudWatch 记录亚马逊日志部分,选择开启解压缩。
在 “使用 AWS Lambda 转换源记录” 部分中,为以下字段提供值:
- 数据转换
-
要创建不转换传入数据的 Firehose 流,请不要选中 “启用数据转换” 复选框。
要指定 Lambda 函数,让 Amazon Data Firehose 在传入的数据之前调用并使用该函数对其进行转换,请选中 “启用数据转换” 复选框。您可以使用其中一个 Lambda 蓝图配置新的 Lambda 函数,也可以选择现有的 Lambda 函数。您的 Lambda 函数必须包含亚马逊 Data Firehose 所需的状态模型。有关更多信息,请参阅 在 Amazon Data Firehose 中转换源数据。
-
在 Convert record format (转换记录格式) 部分,为以下字段提供值:
- Record format conversion (记录格式转换)
-
要创建不转换传入数据记录格式的 Firehose 流,请选择 “已禁用”。
要转换传入记录的格式,选择 Enabled (启用),然后指定所需的输出格式。您需要指定一个 AWS Glue 表,其中包含您希望 Amazon Data Firehose 用来转换记录格式的架构。有关更多信息,请参阅 在 Amazon Data Firehose 中转换输入数据格式。
有关如何使用设置记录格式转换的示例 AWS CloudFormation,请参阅AWS:::KinesisFirehose: DeliveryStream。。