(可选)配置记录转换和格式转换 - Amazon Data Firehose

将 Amazon Data Firehose 流传输到亚马逊 S3 中的 Apache Iceberg Tables 处于预览阶段,可能会发生变化。

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

(可选)配置记录转换和格式转换

配置 Amazon Data Firehose 以转换和转换您的记录数据。

使用 AWS Lambda 转换源记录部分中,为以下字段提供值。
  1. 数据转换

    要创建不转换传入数据的 Firehose 流,请不要选中 “启用数据转换” 复选框。

    要指定 Lambda 函数以供 Firehose 在传入数据之前调用并用于在传入数据之前对其进行转换,请选中 “启用数据转换” 复选框。您可以使用其中一个 Lambda 蓝图配置新的 Lambda 函数,也可以选择现有的 Lambda 函数。您的 Lambda 函数必须包含 Firehose 所需的状态模型。有关更多信息,请参阅 在 Amazon Data Firehose 中转换源数据

  2. Convert record format (转换记录格式) 部分,为以下字段提供值:

    Record format conversion (记录格式转换)

    要创建不转换传入数据记录格式的 Firehose 流,请选择 “已禁用”。

    要转换传入记录的格式,选择 Enabled (启用),然后指定所需的输出格式。您需要指定一个 AWS Glue 表,其中包含您希望 Firehose 用来转换记录格式的架构。有关更多信息,请参阅 在 Amazon Data Firehose 中转换输入数据格式

    有关如何使用设置记录格式转换的示例 AWS CloudFormation,请参阅AWS:::KinesisFirehose: DeliveryStream。。

来源设置部分,提供以下字段。
  1. 在 “转换记录” 下,选择以下选项之一:

    1. 如果您的目标是 Amazon S3 或 Splunk,请在解压缩源 CloudWatch 记录亚马逊日志部分,选择开启解压缩。

    2. 在 “使用 AWS Lambda 转换源记录” 部分中,为以下字段提供值:

      数据转换

      要创建不转换传入数据的 Firehose 流,请不要选中 “启用数据转换” 复选框。

      要指定 Lambda 函数,让 Amazon Data Firehose 在传入的数据之前调用并使用该函数对其进行转换,请选中 “启用数据转换” 复选框。您可以使用其中一个 Lambda 蓝图配置新的 Lambda 函数,也可以选择现有的 Lambda 函数。您的 Lambda 函数必须包含亚马逊 Data Firehose 所需的状态模型。有关更多信息,请参阅 在 Amazon Data Firehose 中转换源数据

  2. Convert record format (转换记录格式) 部分,为以下字段提供值:

    Record format conversion (记录格式转换)

    要创建不转换传入数据记录格式的 Firehose 流,请选择 “已禁用”。

    要转换传入记录的格式,选择 Enabled (启用),然后指定所需的输出格式。您需要指定一个 AWS Glue 表,其中包含您希望 Amazon Data Firehose 用来转换记录格式的架构。有关更多信息,请参阅 在 Amazon Data Firehose 中转换输入数据格式

    有关如何使用设置记录格式转换的示例 AWS CloudFormation,请参阅AWS:::KinesisFirehose: DeliveryStream。。