什么是亚马逊数据 Firehose？

Amazon Data Firehose 是一项完全托管的服务，用于向亚马逊简单存储服务 (Amazon S3)、亚马逊 Redshift、亚马逊服务、亚马逊无服务器、Splunk 以及支持的第三方服务提供商拥有的任何自定义 HTTP 终端节点或 HTTP 终端节点（包括 Datadog、Dynatrac LogicMonitor e、MongoDB、New Relic、Alogix 和 Elastic。 OpenSearch OpenSearch 使用 Amazon Data Firehose，您无需编写应用程序或管理资源。您可以将数据生成器配置为将数据发送到 Amazon Data Firehose，然后它会自动将数据传输到您指定的目的地。您还可以将 Amazon Data Firehose 配置为在交付数据之前对其进行转换。

有关 AWS 大数据解决方案的更多信息，请参阅 AWS 上的大数据。有关 AWS 流数据解决方案的更多信息，请参阅什么是流数据？。

注意

请注意适用于 Amazon MSK 的最新AWS流数据解决方案，该解决方案提供了数据流经生产者、流式存储、消费者和目标的AWS CloudFormation 模板。

重要概念

在开始使用 Amazon Data Firehose 时，您可以从了解以下概念中受益：

Firehose 直播

亚马逊 Data Firehose 的底层实体。您可以通过创建 Firehose 流然后向其发送数据来使用 Amazon Data Firehose。有关更多信息，请参阅 创建 Firehose 直播和 向 Firehose 直播发送数据。

记录

您的数据生成器发送到 Firehose 流的感兴趣数据。记录最大可达 1000 KB。

数据创建器

制作人向 Firehose 直播发送记录。例如，向 Firehose 流发送日志数据的 Web 服务器就是数据生成器。您还可以将 Firehose 流配置为自动从现有 Kinesis 数据流中读取数据，然后将其加载到目的地。有关更多信息，请参阅 向 Firehose 直播发送数据。

缓冲区大小和缓冲间隔

Amazon Data Firehose 会将传入的流数据缓冲到一定大小或一段时间，然后再将其传送到目的地。 Buffer Size以 MB 为单位，以秒Buffer Interval为单位。

数据流

对于 Amazon S3 目标，流数据将传输到您的 S3 存储桶。如果启用了数据转换，您可以选择将源数据备份到另一个 Amazon S3 存储桶。

对于 Amazon Redshift 目标，流数据将传输到您的 S3 存储桶。然后，Amazon Data Firehose 发出亚马逊 COPY Redshift 命令，将数据从 S3 存储桶加载到亚马逊 Redshift 集群。如果启用了数据转换，您可以选择将源数据备份到另一个 Amazon S3 存储桶。

对于 OpenSearch 服务目标，流数据将传输到您的 OpenSearch服务集群，并且可以选择将其同时备份到您的 S3 存储桶。

对于 Splunk 目标，流数据将传输到 Splunk，并且可以选择将流数据同时备份到 S3 存储桶中。