在 Amazon Data Firehose 中转换源数据

Amazon Data Firehose 可以调用您的 Lambda 函数来转换传入的源数据并将转换后的数据传送到目的地。您可以在创建 Firehose 直播时启用亚马逊数据 Firehose 数据转换。

了解数据转换流程

当你启用 Firehose 数据转换时，Firehose 会缓冲传入的数据。缓冲大小提示介于 0.2 MB 和 3MB 之间。除了 Splunk 和 Snowflake 之外，所有目标的默认 Lambda 缓冲大小提示均为 1 MB。对于 Splunk 和 Snowflake，默认的缓冲提示为 256 KB。Lambda 缓冲间隔提示的范围在 0 到 900 秒之间。除了 Snowflake 以外的所有目的地，默认 Lambda 缓冲间隔提示为六十秒。对于 Snowflake，默认的缓冲提示间隔为 30 秒。要调整缓冲区大小，请使用ProcessorParameter调用的BufferSizeInMBs和IntervalInSeconds设置CreateDeliveryStream或UpdateDestinationAPI的ProcessingConfiguration参数。然后，Firehose 使用同步调用模式对每个缓冲批次异步调用指定的 Lambda 函数。 AWS Lambda 转换后的数据将从 Lambda 发送到 Firehose。然后，当达到指定的目标缓冲大小或缓冲间隔（以先发生者为准）时，Firehose 将其发送到目标。

重要

Lambda 同步调用模式对请求和响应的负载大小限制均为 6MB。确保用于向函数发送请求的缓冲大小小于或等于 6 MB，并且函数返回的响应也不超过 6 MB。

Lambda 调用时长

Amazon Data Firehose 支持长达 5 分钟的 Lambda 调用时间。如果您的 Lambda 函数需要超过 5 分钟才能完成，则会收到以下错误：Firehose 在调用 Lambda 时遇到超时错误。 AWS 支持的最大函数超时为 5 分钟。

有关发生此类错误时 Amazon Data Firehose 会如何处理的信息，请参阅。处理数据转换失败