配置目的地设置 - Amazon Data Firehose
为 Amazon S3 配置目标设置配置 Apache 冰山表的目标设置为亚马逊 Redshift 配置目的地设置为 OpenSearch 服务配置目标设置为 OpenSearch 无服务器配置目标设置为HTTP终端节点配置目标设置配置 Datadog 的目标设置配置 Honeycomb 的目标设置配置 Coralogix 的目的地设置配置 Dynatrace 的目标设置配置目标设置 LogicMonitor配置 Logz.io 的目标设置配置 MongoDB 云的目标设置为 New Relic 配置目的地设置配置 Snowflake 的目的地设置为 Splunk 配置目标设置配置 Splunk 可观测性云的目标设置配置 Sumo Logic 的目标设置为 Elastic 配置目标设置

将 Amazon Data Firehose 流传输到亚马逊 S3 中的 Apache Iceberg Tables 处于预览阶段，可能会发生变化。

本文属于机器翻译版本。若本译文内容与英语原文存在差异，则一律以英文原文为准。

配置目的地设置

本节介绍您必须根据所选目标为 Firehose 直播配置的设置。

为 Amazon S3 配置目标设置

要使用亚马逊 S3 作为 Firehose 直播的目的地，您必须指定以下设置。

  • 输入以下字段的值。

    S3 bucket

    请选择一个您拥有的用于接收流数据的 S3 存储桶。您可以创建一个新 S3 存储桶或选择现有的 S3 存储桶。

    新行分隔符

    您可以将 Firehose 流配置为在传输到 Amazon S3 的对象中的记录之间添加新的行分隔符。为此，请选择启用。若不在传输到 Amazon S3 的对象中的记录之间添加新行分隔符，请选择禁用。如果您计划使用 Athena 查询包含聚合记录的 S3 对象，请启用此选项。

    动态分区

    选择启用以启用和配置动态分区。

    多记录解聚合

    这是解析 Firehose 流中的记录并根据JSON有效或指定的新行分隔符将它们分隔开的过程。

    如果您将多个事件、日志或记录聚合为一个 PutRecord 事件、日志或 PutRecordBatch API记录，则仍然可以启用和配置动态分区。对于聚合数据，当您启用动态分区时，Amazon Data Firehose 会解析记录并在每次调用中查找多个JSON有效对象。API当 Firehose 流配置为 Kinesis 数据流作为源时，你也可以使用 Kinesis Producer 库中的内置聚合（）。KPL数据分区功能在数据解聚后执行。因此，每次API调用中的每条记录都可以传送到不同的 Amazon S3 前缀。在使用数据分区功能之前，您还可以利用 Lambda 函数集成来执行任何其他解聚或任何其他转换。

    重要

    如果数据是聚合的，则只有在执行数据解聚后才能应用动态分区。因此，如果您对聚合数据启用动态分区，则必须选择启用才能启用多记录解聚。

    Firehose stream 按以下顺序执行以下处理步骤：KPL(protobuf) 解聚或JSON分隔符解聚合、Lambda 处理、数据分区、数据格式转换和 Amazon S3 交付。

    多记录解聚类型

    如果您启用了多记录解聚功能，则必须为 Firehose 指定取消聚合数据的方法。使用下拉菜单选择 “分隔” JSON或 “分隔”。

    内联解析

    内联解析是一种受支持的机制，可以对发往 Amazon S3 的数据进行动态分区。要使用内联解析对数据进行动态分区，则必须指定要用作分区键的数据记录参数，并为每个指定的分区键提供一个值。选择启用以启用和配置内联解析。

    重要

    如果你指定了 AWS Lambda 函数在上述转换源记录的步骤中，您可以使用此函数对绑定到 S3 的数据进行动态分区，并且您仍然可以通过内联解析创建分区密钥。通过动态分区，您可以使用内联解析或您的 AWS 用于创建分区密钥的 Lambda 函数。或者你可以同时使用内联解析和 AWS 同时使用 Lambda 函数来创建您的分区密钥。

    动态分区键

    您可以使用键和值字段指定用作动态分区键的数据记录参数，并使用 jq 查询生成动态分区键值。Firehose 仅支持 jq 1.6。您最多可以指定 50 个动态分区键。要成功为 Firehose 直播配置动态分区，必须为动态分区键值输入有效的 jq 表达式。

    S3 存储桶前缀

    启用和配置动态分区时，必须指定 Amazon Data Firehose 要向其传送分区数据的 S3 存储桶前缀。

    为了正确配置动态分区，S3 存储桶前缀的数量必须与指定分区键的数量相同。

    您可以使用内联解析或使用您指定的方法对源数据进行分区 AWS Lambda 函数。如果你指定了 AWS Lambda 函数要为源数据创建分区密钥，您必须使用以下格式手动键入 S3 存储桶前缀值：“Lambda: keyID” partitionKeyFrom。如果您使用内联解析为源数据指定分区密钥，则可以使用以下格式手动键入 S3 存储桶预览值：“partitionKeyFromquery: keyID”，也可以选择应用动态分区密钥按钮使用动态分区键/值对自动生成 S3 存储桶前缀。在使用内联解析或对数据进行分区时 AWS Lambda，您还可以在您的 S3 存储桶前缀中使用以下表达式形式：! {namespace: value}，其中命名空间可以是 Query partitionKeyFrom 或 Lambda。 partitionKeyFrom

    S3 存储桶和 S3 错误输出前缀时区

    在 A mazon S3 对象的自定义前缀中选择要用作日期和时间的时区。默认情况下，Firehose 会在中添加时间前缀。UTC如果您想使用不同的时区，可以更改 S3 前缀中使用的时区。

    缓冲提示

    Firehose 会先缓冲传入的数据，然后再将其传送到指定目的地。目标位置的建议缓冲区大小因服务提供商而异。

    S3 压缩

    选择 Snappy GZIP、Zip 或 Hadoop 兼容 Snappy 数据压缩，或者不进行数据压缩。兼容 Snappy、Zip 和 Hadoop 的 Snappy 压缩不适用于以亚马逊 Redshift 为目标的 Firehose 直播。

    S3 文件扩展名格式（可选）

    为传送到 Amazon S3 目标存储桶的对象指定文件扩展名格式。如果启用此功能，则指定的文件扩展名将覆盖数据格式转换或 S3 压缩功能（例如.parquet 或.gz）附加的默认文件扩展名。在将此功能与数据格式转换或 S3 压缩配合使用时，请确保配置了正确的文件扩展名。文件扩展名必须以句点 (.) 开头，并且可以包含允许的字符：0-9a-z！ -_.*' ()。文件扩展名不能超过 128 个字符。

    S3 加密

    Firehose 支持亚马逊 S3 服务器端加密 AWS Key Management Service (SSE-KMS) 用于对 Amazon S3 中已交付的数据进行加密。您可以选择使用目标 S3 存储桶中指定的默认加密类型，也可以选择使用列表中的密钥进行加密 AWS KMS 你拥有的钥匙。如果你用加密数据 AWS KMS 密钥，你可以使用默认密钥 AWS 托管密钥 (aws/s3) 或客户托管密钥。有关更多信息，请参阅使用服务器端加密保护数据 AWS KMS-托管密钥 (SSE-KMS) 。

配置 Apache 冰山表的目标设置

Apache Iceberg Tables 作为目的地在美国东部（弗吉尼亚北部）、美国西部（俄勒冈）、欧洲（爱尔兰）、亚太地区（东京）、加拿大（中部）和亚太地区（悉尼）提供 AWS 区域.

有关将 Apache Iceberg Tables 作为目的地的更多信息，请参阅。使用 Amazon Data Firehose 将数据传输到 Apache Iceberg Tables

为亚马逊 Redshift 配置目的地设置

本节介绍使用亚马逊 Redshift 作为 Firehose 直播目标的设置。

根据您是否拥有 Amazon Redshift 预置集群或 Amazon Redshift Serverless 工作组，选择以下任一过程。

Amazon Redshift 预置集群

本节介绍使用亚马逊 Redshift 预配置集群作为 Firehose 直播目标的设置。

  • 输入以下字段的值：

    集群

    Amazon Redshift 集群，S3 存储桶数据将复制到该集群。将 Amazon Redshift 集群配置为可公开访问并解除封锁亚马逊 Data Firehose IP 地址。有关更多信息，请参阅 授予 Firehose 访问亚马逊 Redshift 目的地的权限 。

    身份验证

    您可以选择直接输入用户名/密码，也可以从中检索密钥 AWS Secrets Manager 访问亚马逊 Redshift 集群。

    • 用户名

      指定有权访问亚马逊 Redshift 集群的亚马逊 Redshift 用户。该用户必须具有 Amazon Redshift INSERT 权限才能将数据从 S3 存储桶复制到 Amazon Redshift 集群。

    • 密码

      为有权访问集群的用户指定密码。

    • 密钥

      从中选择一个密钥 AWS Secrets Manager 其中包含亚马逊 Redshift 集群的证书。如果您在下拉列表中看不到您的密钥，请在下拉列表中创建一个 AWS Secrets Manager 获取您的亚马逊 Redshift 证书。有关更多信息，请参阅 使用进行身份验证 AWS Secrets Manager 在 Amazon Data Firehose 中。

    数据库

    Amazon Redshift 数据库，数据将复制到该数据库。

    表

    Amazon Redshift 表，数据将复制到该表。

    列

    （可选）表的特定列，数据将复制到该特定列。如果 Amazon S3 对象中定义的列数少于 Amazon Redshift 表中的列数，请使用此选项。

    中间 S3 目标

    Firehose 会先将您的数据传输到您的 S3 存储桶，然后发出 Amazon Redshift 命令将数据加载到您的亚马逊 COPY Redshift 集群中。请指定一个您拥有的用于接收流数据的 S3 存储桶。创建新的 S3 存储桶或选择您当前拥有的存储桶。

    将数据加载到您的亚马逊 Redshift 集群后，Firehose 不会将其从您的 S3 存储桶中删除。您可以使用生命周期配置管理 S3 存储桶中的数据。有关更多信息，请参阅《Amazon Simple Storage Service 用户指南》中的对象生命周期管理。

    中间 S3 存储桶前缀

    （可选）要对 Amazon S3 对象使用默认前缀，请将此选项留空。Firehose 会自动为已交付的 Amazon S3 对象使用 YYYY/MM/dd/HH “” UTC 时间格式的前缀。您可以将此前缀添加到开头。有关更多信息，请参阅 配置 Amazon S3 对象名称格式。

    COPY选项

    您可以在 Amazon Redshift COPY 命令中指定的参数。您可以根据自己的配置情况酌情使用这些参数。例如，如果启用了 Amazon S3 数据压缩，则必须使用 GZIP “”。 如果您的 S3 存储桶不在同一个存储桶中，则必须填写 “REGION” AWS 区域就是您的亚马逊 Redshift 集群。有关更多信息，请参阅COPY《亚马逊 Redshift 数据库开发者指南》。

    COPY命令

    Amazon Redshift COPY 命令。有关更多信息，请参阅COPY《亚马逊 Redshift 数据库开发者指南》。

    Retry duration

    如果您的 COPY Amazon Redshift 集群的数据出现故障，Firehose 重试的持续时间（0—7200 秒）。Firehose 每 5 分钟重试一次，直到重试持续时间结束。如果您将重试持续时间设置为 0（零）秒，Firehose 不会在命令失败时COPY重试。

    缓冲提示

    Firehose 会先缓冲传入的数据，然后再将其传送到指定目的地。目标位置的建议缓冲区大小因服务提供商而异。

    S3 压缩

    选择 Snappy GZIP、Zip 或 Hadoop 兼容 Snappy 数据压缩，或者不进行数据压缩。兼容 Snappy、Zip 和 Hadoop 的 Snappy 压缩不适用于以亚马逊 Redshift 为目标的 Firehose 直播。

    S3 文件扩展名格式（可选）

    S3 文件扩展名格式（可选）-为传送到 Amazon S3 目标存储桶的对象指定文件扩展名格式。如果启用此功能，则指定的文件扩展名将覆盖数据格式转换或 S3 压缩功能（例如.parquet 或.gz）附加的默认文件扩展名。在将此功能与数据格式转换或 S3 压缩配合使用时，请确保配置了正确的文件扩展名。文件扩展名必须以句点 (.) 开头，并且可以包含允许的字符：0-9a-z！ -_.*' ()。文件扩展名不能超过 128 个字符。

    S3 加密

    Firehose 支持亚马逊 S3 服务器端加密 AWS Key Management Service (SSE-KMS) 用于对 Amazon S3 中已交付的数据进行加密。您可以选择使用目标 S3 存储桶中指定的默认加密类型，也可以选择使用列表中的密钥进行加密 AWS KMS 你拥有的钥匙。如果你用加密数据 AWS KMS 密钥，你可以使用默认密钥 AWS 托管密钥 (aws/s3) 或客户托管密钥。有关更多信息，请参阅使用服务器端加密保护数据 AWS KMS-托管密钥 (SSE-KMS) 。

为 Amazon Redshift 无服务器工作组配置目标设置

本节介绍使用亚马逊 Redshift 无服务器工作组作为 Firehose 直播目标的设置。

  • 输入以下字段的值：

    Workgroup name (工作组名称)

    Amazon Redshift Serverless 工作组，S3 存储桶数据将复制到该工作组。将 Amazon Redshift 无服务器工作组配置为可公开访问并解除封锁 Firehose IP 地址。有关更多信息，请参阅连接到 Amazon Redshift Serverless 中的“连接到可公开访问的 Amazon Redshift Serverless 实例”部分，以及“授予 Firehose 访问亚马逊 Redshift 目的地的权限 ”。

    身份验证

    您可以选择直接输入用户名/密码，也可以从中检索密钥 AWS Secrets Manager 访问 Amazon Redshift 无服务器工作组。

    • 用户名

      指定有权访问亚马逊 Redshift 无服务器工作组的亚马逊 Redshift 用户。该用户必须具有 Amazon Redshift INSERT 权限才能将数据从 S3 存储桶复制到 Amazon Redshift Serverless 工作组。

    • 密码

      为有权访问 Amazon Redshift Serverless 工作组的用户指定密码。

    • 密钥

      从中选择一个密钥 AWS Secrets Manager 其中包含 Amazon Redshift 无服务器工作组的证书。如果您在下拉列表中看不到您的密钥，请在下拉列表中创建一个 AWS Secrets Manager 获取您的亚马逊 Redshift 证书。有关更多信息，请参阅 使用进行身份验证 AWS Secrets Manager 在 Amazon Data Firehose 中。

    数据库

    Amazon Redshift 数据库，数据将复制到该数据库。

    表

    Amazon Redshift 表，数据将复制到该表。

    列

    （可选）表的特定列，数据将复制到该特定列。如果 Amazon S3 对象中定义的列数少于 Amazon Redshift 表中的列数，请使用此选项。

    中间 S3 目标

    Amazon Data Firehose 首先将您的数据传送到您的 S3 存储桶，然后发出 Amazon COPY Redshift 命令将数据加载到您的亚马逊 Redshift 无服务器工作组。请指定一个您拥有的用于接收流数据的 S3 存储桶。创建新的 S3 存储桶或选择您当前拥有的存储桶。

    将数据加载到您的 Amazon Redshift 无服务器工作组后，Firehose 不会将其从您的 S3 存储桶中删除。您可以使用生命周期配置管理 S3 存储桶中的数据。有关更多信息，请参阅《Amazon Simple Storage Service 用户指南》中的对象生命周期管理。

    中间 S3 存储桶前缀

    （可选）要对 Amazon S3 对象使用默认前缀，请将此选项留空。Firehose 会自动为已交付的 Amazon S3 对象使用 YYYY/MM/dd/HH “” UTC 时间格式的前缀。您可以将此前缀添加到开头。有关更多信息，请参阅 配置 Amazon S3 对象名称格式。

    COPY选项

    您可以在 Amazon Redshift COPY 命令中指定的参数。您可以根据自己的配置情况酌情使用这些参数。例如，如果启用了 Amazon S3 数据压缩，则必须使用 GZIP “”。 如果您的 S3 存储桶不在同一个存储桶中，则必须填写 “REGION” AWS 区域是你的 Amazon Redshift 无服务器工作组。有关更多信息，请参阅COPY《亚马逊 Redshift 数据库开发者指南》。

    COPY命令

    Amazon Redshift COPY 命令。有关更多信息，请参阅COPY《亚马逊 Redshift 数据库开发者指南》。

    Retry duration

    如果您的 COPY Amazon Redshift Serverless 工作组的数据出现故障，Firehose 重试的持续时间（0—7200 秒）。Firehose 每 5 分钟重试一次，直到重试持续时间结束。如果您将重试持续时间设置为 0（零）秒，Firehose 不会在命令失败时COPY重试。

    缓冲提示

    Firehose 会先缓冲传入的数据，然后再将其传送到指定目的地。目标位置的建议缓冲区大小因服务提供商而异。

    S3 压缩

    选择 Snappy GZIP、Zip 或 Hadoop 兼容 Snappy 数据压缩，或者不进行数据压缩。兼容 Snappy、Zip 和 Hadoop 的 Snappy 压缩不适用于以亚马逊 Redshift 为目标的 Firehose 直播。

    S3 文件扩展名格式（可选）

    S3 文件扩展名格式（可选）-为传送到 Amazon S3 目标存储桶的对象指定文件扩展名格式。如果启用此功能，则指定的文件扩展名将覆盖数据格式转换或 S3 压缩功能（例如.parquet 或.gz）附加的默认文件扩展名。在将此功能与数据格式转换或 S3 压缩配合使用时，请确保配置了正确的文件扩展名。文件扩展名必须以句点 (.) 开头，并且可以包含允许的字符：0-9a-z！ -_.*' ()。文件扩展名不能超过 128 个字符。

    S3 加密

    Firehose 支持亚马逊 S3 服务器端加密 AWS Key Management Service (SSE-KMS) 用于对 Amazon S3 中已交付的数据进行加密。您可以选择使用目标 S3 存储桶中指定的默认加密类型，也可以选择使用列表中的密钥进行加密 AWS KMS 你拥有的钥匙。如果你用加密数据 AWS KMS 密钥，你可以使用默认密钥 AWS 托管密钥 (aws/s3) 或客户托管密钥。有关更多信息，请参阅使用服务器端加密保护数据 AWS KMS-托管密钥 (SSE-KMS) 。

为 OpenSearch 服务配置目标设置

本节介绍在目的地使用 OpenSearch 服务的选项。

  • 输入以下字段的值：

    OpenSearch 服务域

    您的数据传输到的 OpenSearch 服务域。

    索引

    将数据索引到 OpenSearch 服务集群时使用的 OpenSearch 服务索引名称。

    Index rotation

    选择是否轮换 OpenSearch 服务索引以及轮换频率。如果启用了索引轮换，Amazon Data Firehose 会将相应的时间戳附加到指定的索引名称并进行轮换。有关更多信息，请参阅 为 OpenSearch 服务配置索引轮换。

    类型

    将数据索引到 OpenSearch 服务集群时使用的 OpenSearch 服务类型名称。对于 Elasticsearch 7. OpenSearch x 和 1.x，每个索引只能有一个类型。如果您尝试为已有其他类型的现有索引指定新类型，Firehose 将在运行时返回错误。

    对于 Elasticsearch 7.x，请将此字段留空。

    Retry duration

    Firehose 在索引请求失败时重试的持续时间。 OpenSearch 在这种情况下，Firehose 每 5 分钟重试一次，直到重试持续时间到期。对于重试持续时间，您可以设置介于 0-7200 秒之间的任何值。

    重试持续时间到期后，Firehose 会将数据传送到死信队列 DLQ ()，这是一个配置的 S3 错误存储桶。对于传送到的数据DLQ，您必须将数据从配置的 S3 错误存储桶重新传回 OpenSearch 目的地。

    如果您想阻止 Firehose stream DLQ 因 OpenSearch 集群停机或维护而向其传输数据，则可以将重试持续时间配置为更高的值（以秒为单位）。您可以通过联系，将上方的重试持续时间值增加到 7200 秒 AWS 支持。

    DocumentID 类型

    指示设置文档 ID 的方法。支持的方法有 Firehose 生成的文档 ID 和 OpenSearch 服务生成的文档 ID。未设置文档 ID 值时，Firehose 生成的文档 ID 是默认选项。 OpenSearch 推荐使用服务生成的文档 ID，因为它支持写入密集型操作，包括日志分析和可观察性，在 OpenSearch 服务域中消耗的CPU资源更少，因此可以提高性能。

    目的地VPC连接

    如果您的 OpenSearch 服务域为私有域VPC，请使用此部分进行指定VPC。还要指定您希望 Amazon Data Firehose 在向您的服务域发送数据时使用的子网和子组。 OpenSearch 您可以使用与 OpenSearch 服务域相同的安全组。如果您指定不同的安全组，请确保它们允许 OpenSearch 服务域安全组的出站HTTPS流量。此外，请确保 OpenSearch 服务域的安全组允许来自您在配置 Firehose 直播时指定的安全组的HTTPS流量。如果您对 Firehose 直播和 OpenSearch 服务域使用同一个安全组，请确保安全组的入站规则允许HTTPS流量。有关安全组规则的更多信息，请参阅 Amazon VPC 文档中的安全组规则。

    重要

    当您指定子网以私有方式将数据传送到目的地时VPC，请确保所选子网中有足够数量的空闲 IP 地址。如果指定子网中没有可用的空闲IP地址，Firehose将无法创建或添加ENIs私有数据传输VPC，并且传输将降级或失败。

    缓冲区提示

    Amazon Data Firehose 会先缓冲传入的数据，然后再将其传输到指定目的地。目标位置的建议缓冲区大小因服务提供商而异。

为 OpenSearch 无服务器配置目标设置

本节介绍在目的地使用 OpenSearch 无服务器的选项。

  • 输入以下字段的值：

    OpenSearch 无服务器集合

    数据传输到的一组 OpenSearch 无服务器索引的终端节点。

    索引

    将数据索引到 OpenSearch 无服务器集合时使用的 OpenSearch 无服务器索引名称。

    目的地VPC连接

    如果您的 OpenSearch 无服务器集合是私有的VPC，请使用此部分进行指定VPC。还要指定您希望 Amazon Data Firehose 在向您的无服务器集合发送数据时使用的子网和子组。 OpenSearch

    重要

    当您指定子网以私有方式将数据传送到目的地时VPC，请确保所选子网中有足够数量的空闲 IP 地址。如果指定子网中没有可用的空闲IP地址，Firehose将无法创建或添加ENIs私有数据传输VPC，并且传输将降级或失败。

    Retry duration

    如果向 Serverless 发出的索引请求失败，Firehose 重试的持续时间。 OpenSearch 在这种情况下，Firehose 每 5 分钟重试一次，直到重试持续时间到期。对于重试持续时间，您可以设置介于 0-7200 秒之间的任何值。

    重试持续时间到期后，Firehose 会将数据传送到死信队列 DLQ ()，这是一个配置的 S3 错误存储桶。对于传送到的数据DLQ，您必须将数据从配置的 S3 错误存储桶重新驱动回 OpenSearch 无服务器目的地。

    如果您想阻止 Firehose stream DLQ 因 OpenSearch 无服务器集群停机或维护而向其传输数据，则可以将重试持续时间配置为更高的值（以秒为单位）。您可以通过联系，将上方的重试持续时间值增加到 7200 秒 AWS 支持。

    缓冲区提示

    Amazon Data Firehose 会先缓冲传入的数据，然后再将其传输到指定目的地。目标位置的建议缓冲区大小因服务提供商而异。

为HTTP终端节点配置目标设置

本节介绍使用终HTTP端节点作为目的地的选项。

重要

如果您选择HTTP终端节点作为目的地，请查看并按照中的说明进行操作了解HTTP端点传输请求和响应规范。

  • 提供下列字段的值：

    HTTP端点名称-可选

    为HTTP端点指定一个用户友好名称。例如，My HTTP Endpoint Destination。

    HTTP端点 URL

    按以下格式URL为HTTP端点指定：https://xyz.httpendpoint.com。URL必须是 HTTPSURL.

    身份验证

    您可以选择直接输入访问密钥，也可以从中检索密钥 AWS Secrets Manager 访问HTTP终端节点。

    • （可选）访问密钥

      如果您需要获取访问密钥以允许从 Firehose 向其端点传输数据，请联系终端节点所有者。

    • 密钥

      从中选择一个密钥 AWS Secrets Manager 其中包含终HTTP端节点的访问密钥。如果您在下拉列表中看不到您的密钥，请在下拉列表中创建一个 AWS Secrets Manager 获取访问密钥。有关更多信息，请参阅 使用进行身份验证 AWS Secrets Manager 在 Amazon Data Firehose 中。

    内容编码

    Amazon Data Firehose 使用内容编码来压缩请求的正文，然后再将其发送到目的地。选择GZIP或禁用以启用/禁用请求的内容编码。

    Retry duration

    指定 Amazon Data Firehose 重试向所选终端节点发送数据的时间长度。HTTP

    发送数据后，Amazon Data Firehose 首先等待终端节点的确认。HTTP如果发生错误或确认未在确认超时时间内到达，Amazon Data Firehose 会启动重试持续时间计数器。它将不断重试，直到重试持续时间到期。之后，Amazon Data Firehose 认为这是数据传输失败，并将数据备份到您的亚马逊 S3 存储桶。

    每当 Amazon Data Firehose 向HTTP终端节点发送数据时（无论是初次尝试还是重试），它都会重新启动确认超时计数器并等待来自终端节点的确认。HTTP

    即使重试时长到期，Amazon Data Firehose 仍会等待确认，直到收到确认或达到确认超时时间。如果确认超时，Amazon Data Firehose 将确定重试计数器中是否还有剩余时间。如果有剩余时间，它将再次重试并重复该逻辑，直到收到确认或确定重试时间已到期。

    如果您不希望 Amazon Data Firehose 重试发送数据，请将此值设置为 0。

    参数（可选）

    Amazon Data Firehose 在每次调用中都包含这些键值对。HTTP这些参数可以帮助您识别和组织目标。

    缓冲提示

    Amazon Data Firehose 会先缓冲传入的数据，然后再将其传输到指定目的地。目标位置的建议缓冲区大小因服务提供商而异。

    重要

    对于HTTP端点目标，如果您在 CloudWatch 日志中看到来自目标端点的 413 个响应代码，请降低 Firehose 流上的缓冲提示大小，然后重试。

配置 Datadog 的目标设置

本节介绍了使用 Datadog 作为目标的选项。有关 Datadog 的更多信息，请参阅 https://docs.datadoghq.com/integrations/ amazon_web_services/。

  • 为以下字段提供值。

    HTTP端点 URL

    从下拉菜单中的以下选项中选择要将数据发送到何处。

    • Datadog 日志-US1

    • Datadog 日志-US3

    • Datadog 日志-US5

    • Datadog 日志-AP1

    • Datadog 日志 - EU

    • Datadog 日志-GOV

    • Datadog 指标 - US

    • Datadog 指标-US5

    • Datadog 指标-AP1

    • Datadog 指标 - EU

    • Datadog 配置-US1

    • Datadog 配置-US3

    • Datadog 配置-US5

    • Datadog 配置-AP1

    • Datadog 配置-欧盟

    • Datadog 配置-美国 GOV

    身份验证

    您可以选择直接输入API密钥，也可以从中检索密钥 AWS Secrets Manager 访问 Datadog。

    • API钥匙

      联系 Datadog 获取允许从 Firehose 向该端点传输数据所需的API密钥。

    • 密钥

      从中选择一个密钥 AWS Secrets Manager 其中包含 Datadog 的API密钥。如果您在下拉列表中看不到您的密钥，请在下拉列表中创建一个 AWS Secrets Manager。 有关更多信息，请参阅使用进行身份验证 AWS Secrets Manager 在 Amazon Data Firehose 中。

    内容编码

    Amazon Data Firehose 使用内容编码来压缩请求的正文，然后再将其发送到目的地。选择GZIP或禁用以启用/禁用请求的内容编码。

    Retry duration

    指定 Amazon Data Firehose 重试向所选终端节点发送数据的时间长度。HTTP

    发送数据后，Amazon Data Firehose 首先等待终端节点的确认。HTTP如果发生错误或确认未在确认超时时间内到达，Amazon Data Firehose 会启动重试持续时间计数器。它将不断重试，直到重试持续时间到期。之后，Amazon Data Firehose 认为这是数据传输失败，并将数据备份到您的亚马逊 S3 存储桶。

    每当 Amazon Data Firehose 向HTTP终端节点发送数据时（无论是初次尝试还是重试），它都会重新启动确认超时计数器并等待来自终端节点的确认。HTTP

    即使重试时长到期，Amazon Data Firehose 仍会等待确认，直到收到确认或达到确认超时时间。如果确认超时，Amazon Data Firehose 将确定重试计数器中是否还有剩余时间。如果有剩余时间，它将再次重试并重复该逻辑，直到收到确认或确定重试时间已到期。

    如果您不希望 Amazon Data Firehose 重试发送数据，请将此值设置为 0。

    参数（可选）

    Amazon Data Firehose 在每次调用中都包含这些键值对。HTTP这些参数可以帮助您识别和组织目标。

    缓冲提示

    Amazon Data Firehose 会先缓冲传入的数据，然后再将其传输到指定目的地。目标位置的建议缓冲区大小因服务提供商而异。

配置 Honeycomb 的目标设置

本节介绍了使用 Honeycomb 作为目标的选项。有关 Honeycomb 的更多信息，请参阅 https://docs.honeycomb.io/ /metrics//getting-data-in。aws-cloudwatch-metrics

  • 提供下列字段的值：

    Honeycomb Kinesis 端点

    使用以下格式URL为HTTP终端节点指定： https://api.honeycomb.io/1/kinesis_events/ {{dataset}}

    身份验证

    您可以选择直接输入API密钥，也可以从中检索密钥 AWS Secrets Manager 访问 Honeycomb。

    • API钥匙

      联系 Honeycomb 获取允许从 Firehose 向该端点传输数据所需的API密钥。

    • 密钥

      从中选择一个密钥 AWS Secrets Manager 里面装有 Honeycomb 的API钥匙。如果您在下拉列表中看不到您的密钥，请在下拉列表中创建一个 AWS Secrets Manager。 有关更多信息，请参阅使用进行身份验证 AWS Secrets Manager 在 Amazon Data Firehose 中。

    内容编码

    Amazon Data Firehose 使用内容编码来压缩请求的正文，然后再将其发送到目的地。GZIP选择启用请求的内容编码。这是 Honeycomb 目标的推荐选项。

    Retry duration

    指定 Amazon Data Firehose 重试向所选终端节点发送数据的时间长度。HTTP

    发送数据后，Amazon Data Firehose 首先等待终端节点的确认。HTTP如果发生错误或确认未在确认超时时间内到达，Amazon Data Firehose 会启动重试持续时间计数器。它将不断重试，直到重试持续时间到期。之后，Amazon Data Firehose 认为这是数据传输失败，并将数据备份到您的亚马逊 S3 存储桶。

    每当 Amazon Data Firehose 向HTTP终端节点发送数据时（无论是初次尝试还是重试），它都会重新启动确认超时计数器并等待来自终端节点的确认。HTTP

    即使重试时长到期，Amazon Data Firehose 仍会等待确认，直到收到确认或达到确认超时时间。如果确认超时，Amazon Data Firehose 将确定重试计数器中是否还有剩余时间。如果有剩余时间，它将再次重试并重复该逻辑，直到收到确认或确定重试时间已到期。

    如果您不希望 Amazon Data Firehose 重试发送数据，请将此值设置为 0。

    参数（可选）

    Amazon Data Firehose 在每次调用中都包含这些键值对。HTTP这些参数可以帮助您识别和组织目标。

    缓冲提示

    Amazon Data Firehose 会先缓冲传入的数据，然后再将其传输到指定目的地。目标位置的建议缓冲区大小因服务提供商而异。

配置 Coralogix 的目的地设置

本节介绍了使用 Coralogix 作为目标的选项。有关 Coralogix 的更多信息，请参阅 Coralogix 入门。

  • 提供下列字段的值：

    HTTP端点 URL

    URL从下拉菜单的以下选项中选择HTTP端点：

    • Coralogix - US

    • Coralogix-SINGAPORE

    • Coralogix-IRELAND

    • Coralogix-INDIA

    • Coralogix-STOCKHOLM

    身份验证

    您可以选择直接输入私钥，也可以从中检索密钥 AWS Secrets Manager 访问 Coralogix。

    • 私有密钥

      联系 Coralogix 获取允许从 Firehose 向该端点传输数据所需的私钥。

    • 密钥

      从中选择一个密钥 AWS Secrets Manager 其中包含 Coralogix 的私钥。如果您在下拉列表中看不到您的密钥，请在下拉列表中创建一个 AWS Secrets Manager。 有关更多信息，请参阅使用进行身份验证 AWS Secrets Manager 在 Amazon Data Firehose 中。

    内容编码

    Amazon Data Firehose 使用内容编码来压缩请求的正文，然后再将其发送到目的地。GZIP选择启用请求的内容编码。这是 Coralogix 目标的推荐选项。

    Retry duration

    指定 Amazon Data Firehose 重试向所选终端节点发送数据的时间长度。HTTP

    发送数据后，Amazon Data Firehose 首先等待终端节点的确认。HTTP如果发生错误或确认未在确认超时时间内到达，Amazon Data Firehose 会启动重试持续时间计数器。它将不断重试，直到重试持续时间到期。之后，Amazon Data Firehose 认为这是数据传输失败，并将数据备份到您的亚马逊 S3 存储桶。

    每当 Amazon Data Firehose 向HTTP终端节点发送数据时（无论是初次尝试还是重试），它都会重新启动确认超时计数器并等待来自终端节点的确认。HTTP

    即使重试时长到期，Amazon Data Firehose 仍会等待确认，直到收到确认或达到确认超时时间。如果确认超时，Amazon Data Firehose 将确定重试计数器中是否还有剩余时间。如果有剩余时间，它将再次重试并重复该逻辑，直到收到确认或确定重试时间已到期。

    如果您不希望 Amazon Data Firehose 重试发送数据，请将此值设置为 0。

    参数（可选）

    Amazon Data Firehose 在每次调用中都包含这些键值对。HTTP这些参数可以帮助您识别和组织目标。

    • applicationName: 你运行 Data Firehose 的环境

    • subsystemName: Data Firehose 集成的名称

    • computerName: 正在使用的 Firehose 直播的名称

    缓冲提示

    Amazon Data Firehose 会先缓冲传入的数据，然后再将其传输到指定目的地。目标的建议缓冲区大小因服务提供商而异。

配置 Dynatrace 的目标设置

本节介绍了使用 Dynatrace 作为目标的选项。有关更多信息，请参阅https://www.dynatrace.com/support/帮助/技术支持/云平台//集成/ amazon-web-services。cloudwatch-metric-streams

  • 选择选项，使用 Dynatrace 作为 Firehose 直播的目的地。

    摄取类型

    选择要在 Dynatrace 中提供指标还是日志（默认），以供进一步分析和处理。

    HTTP端点 URL

    从下拉菜单中选择HTTP终端节点URL（Dynatrace US、Dynatrace EU 或 Dynatrace Global）。

    身份验证

    您可以选择直接输入令API牌或从中检索密钥 AWS Secrets Manager 访问 Dynatrace。

    API URL

    提供你的 API URL Dynatrace 环境。

    内容编码

    选择是否要启用内容编码以压缩请求的正文。Amazon Data Firehose 使用内容编码来压缩请求的正文，然后再将其发送到目的地。启用后，内容将按GZIP格式压缩。

    Retry duration

    指定 Firehose 重试向所选端点发送数据的时间长度。HTTP

    发送数据后，Firehose 首先等待端点的确认。HTTP如果发生错误或确认未在确认超时时间内到达，Firehose 会启动重试持续时间计数器。它将不断重试，直到重试持续时间到期。之后，Firehose 认为这是数据传输失败，并将数据备份到您的 Amazon S3 存储桶中。

    每当 Firehose 向HTTP端点发送数据时，无论是在初次尝试期间还是在重试之后，它都会重新启动确认超时计数器并等待端点的确认。HTTP

    即使重试时长到期，Firehose 仍会等待确认，直到收到确认或达到确认超时时间。如果确认超时，Firehose 将确定重试计数器中是否还有剩余时间。如果有剩余时间，它将再次重试并重复该逻辑，直到收到确认或确定重试时间已到期。

    如果您不希望 Firehose 重试发送数据，请将此值设置为 0。

    参数（可选）

    Amazon Data Firehose 在每次调用中都包含这些键值对。HTTP这些参数可以帮助您识别和组织目标。

    缓冲提示

    Amazon Data Firehose 会先缓冲传入的数据，然后再将其传输到指定目的地。缓冲区提示包括直播的缓冲区大小和间隔。目标的建议缓冲区大小因服务提供商而异。

配置目标设置 LogicMonitor

本节介绍LogicMonitor用于目的地的选项。有关更多信息，请参阅https://www.logicmonitor.com。

  • 提供下列字段的值：

    HTTP端点 URL

    按以下格式URL为HTTP端点指定。

    https://ACCOUNT.logicmonitor.com
    身份验证

    您可以选择直接输入API密钥，也可以从中检索密钥 AWS Secrets Manager 访问 LogicMonitor。

    • API钥匙

      请联系 LogicMonitor 以获取允许从 Firehose 向该端点传输数据所需的API密钥。

    • 密钥

      从中选择一个密钥 AWS Secrets Manager 其中包含的API密钥 LogicMonitor。如果您在下拉列表中看不到您的密钥，请在下拉列表中创建一个 AWS Secrets Manager。 有关更多信息，请参阅使用进行身份验证 AWS Secrets Manager 在 Amazon Data Firehose 中。

    内容编码

    Amazon Data Firehose 使用内容编码来压缩请求的正文，然后再将其发送到目的地。选择GZIP或禁用以启用/禁用请求的内容编码。

    Retry duration

    指定 Amazon Data Firehose 重试向所选终端节点发送数据的时间长度。HTTP

    发送数据后，Amazon Data Firehose 首先等待终端节点的确认。HTTP如果发生错误或确认未在确认超时时间内到达，Amazon Data Firehose 会启动重试持续时间计数器。它将不断重试，直到重试持续时间到期。之后，Amazon Data Firehose 认为这是数据传输失败，并将数据备份到您的亚马逊 S3 存储桶。

    每当 Amazon Data Firehose 向HTTP终端节点发送数据时（无论是初次尝试还是重试），它都会重新启动确认超时计数器并等待来自终端节点的确认。HTTP

    即使重试时长到期，Amazon Data Firehose 仍会等待确认，直到收到确认或达到确认超时时间。如果确认超时，Amazon Data Firehose 将确定重试计数器中是否还有剩余时间。如果有剩余时间，它将再次重试并重复该逻辑，直到收到确认或确定重试时间已到期。

    如果您不希望 Amazon Data Firehose 重试发送数据，请将此值设置为 0。

    参数（可选）

    Amazon Data Firehose 在每次调用中都包含这些键值对。HTTP这些参数可以帮助您识别和组织目标。

    缓冲提示

    Amazon Data Firehose 会先缓冲传入的数据，然后再将其传输到指定目的地。目标位置的建议缓冲区大小因服务提供商而异。

配置 Logz.io 的目标设置

本节介绍了使用 Logz.io 作为目标的选项。欲了解更多信息，请参阅 https://logz.io/。

注意

在欧洲（米兰）地区，不支持 Logz.io 作为亚马逊 Data Firehose 目的地。

  • 提供下列字段的值：

    HTTP端点 URL

    按以下格式URL为HTTP端点指定。URL必须是 HTTPSURL.

    https://listener-aws-metrics-stream-<region>.logz.io/

    例如

    https://listener-aws-metrics-stream-us.logz.io/
    身份验证

    您可以选择直接输入配送令牌，也可以从中检索密钥 AWS Secrets Manager 访问 Logz.io。

    • 配送代币

      联系 Logz.io 获取启用从 Firehose 向该端点传输数据所需的发货令牌。

    • 密钥

      从中选择一个密钥 AWS Secrets Manager 其中包含 Logz.io 的发货令牌。如果您在下拉列表中看不到您的密钥，请在下拉列表中创建一个 AWS Secrets Manager。 有关更多信息，请参阅使用进行身份验证 AWS Secrets Manager 在 Amazon Data Firehose 中。

    Retry duration

    指定 Amazon Data Firehose 重试向 Logz.io 发送数据的时间长度。

    发送数据后，Amazon Data Firehose 首先等待终端节点的确认。HTTP如果发生错误或确认未在确认超时时间内到达，Amazon Data Firehose 会启动重试持续时间计数器。它将不断重试，直到重试持续时间到期。之后，Amazon Data Firehose 认为这是数据传输失败，并将数据备份到您的亚马逊 S3 存储桶。

    每当 Amazon Data Firehose 向HTTP终端节点发送数据时（无论是初次尝试还是重试），它都会重新启动确认超时计数器并等待来自终端节点的确认。HTTP

    即使重试时长到期，Amazon Data Firehose 仍会等待确认，直到收到确认或达到确认超时时间。如果确认超时，Amazon Data Firehose 将确定重试计数器中是否还有剩余时间。如果有剩余时间，它将再次重试并重复该逻辑，直到收到确认或确定重试时间已到期。

    如果您不希望 Amazon Data Firehose 重试发送数据，请将此值设置为 0。

    参数（可选）

    Amazon Data Firehose 在每次调用中都包含这些键值对。HTTP这些参数可以帮助您识别和组织目标。

    缓冲提示

    Amazon Data Firehose 会先缓冲传入的数据，然后再将其传输到指定目的地。目标位置的建议缓冲区大小因服务提供商而异。

配置 MongoDB 云的目标设置

本节介绍了使用 MongoDB Cloud 作为目标的选项。有关更多信息，请参阅https://www.mongodb.com。

  • 提供下列字段的值：

    MongoDB Realm webhook URL

    按以下格式URL为HTTP端点指定。

     https://webhooks.mongodb-realm.com

    URL必须是 HTTPSURL.

    身份验证

    您可以选择直接输入API密钥，也可以从中检索密钥 AWS Secrets Manager 访问 MongoDB 云。

    • API钥匙

      请联系 MongoDB Cloud 获取允许API从 Firehose 向该端点传输数据所需的密钥。

    • 密钥

      从中选择一个密钥 AWS Secrets Manager 其中包含了 MongoDB 云的API密钥。如果您在下拉列表中看不到您的密钥，请在下拉列表中创建一个 AWS Secrets Manager。 有关更多信息，请参阅使用进行身份验证 AWS Secrets Manager 在 Amazon Data Firehose 中。

    内容编码

    Amazon Data Firehose 使用内容编码来压缩请求的正文，然后再将其发送到目的地。选择GZIP或禁用以启用/禁用请求的内容编码。

    Retry duration

    指定 Amazon Data Firehose 在多长时间内重试向选定的第三方提供商发送数据。

    发送数据后，Amazon Data Firehose 首先等待终端节点的确认。HTTP如果发生错误或确认未在确认超时时间内到达，Amazon Data Firehose 会启动重试持续时间计数器。它将不断重试，直到重试持续时间到期。之后，Amazon Data Firehose 认为这是数据传输失败，并将数据备份到您的亚马逊 S3 存储桶。

    每当 Amazon Data Firehose 向HTTP终端节点发送数据时（无论是初次尝试还是重试），它都会重新启动确认超时计数器并等待来自终端节点的确认。HTTP

    即使重试时长到期，Amazon Data Firehose 仍会等待确认，直到收到确认或达到确认超时时间。如果确认超时，Amazon Data Firehose 将确定重试计数器中是否还有剩余时间。如果有剩余时间，它将再次重试并重复该逻辑，直到收到确认或确定重试时间已到期。

    如果您不希望 Amazon Data Firehose 重试发送数据，请将此值设置为 0。

    缓冲提示

    Amazon Data Firehose 会先缓冲传入的数据，然后再将其传输到指定目的地。目标位置的建议缓冲区大小因服务提供商而异。

    参数（可选）

    Amazon Data Firehose 在每次调用中都包含这些键值对。HTTP这些参数可以帮助您识别和组织目标。

为 New Relic 配置目的地设置

本节介绍了使用 New Relic 作为目标的选项。有关更多信息，请参阅https://newrelic.com。

  • 提供下列字段的值：

    HTTP端点 URL

    URL从下拉列表中的以下选项中选择HTTP终端节点。

    • New Relic 日志 - US

    • New Relic 指标 - US

    • New Relic 指标 - EU

    身份验证

    您可以选择直接输入API密钥，也可以从中检索密钥 AWS Secrets Manager 访问新遗物。

    • API钥匙

      在 New Relic One Account 设置中输入你的许可证密钥，这是一个由 40 个字符组成的十六进制字符串。您需要此API密钥才能启用从 Firehose 向该端点传输数据。

    • 密钥

      从中选择一个密钥 AWS Secrets Manager 里面装有 New Relic 的API钥匙。如果您在下拉列表中看不到您的密钥，请在下拉列表中创建一个 AWS Secrets Manager。 有关更多信息，请参阅使用进行身份验证 AWS Secrets Manager 在 Amazon Data Firehose 中。

    内容编码

    Amazon Data Firehose 使用内容编码来压缩请求的正文，然后再将其发送到目的地。选择GZIP或禁用以启用/禁用请求的内容编码。

    Retry duration

    指定 Amazon Data Firehose 重试向 New Relic 终端节点发送数据的时间长度。HTTP

    发送数据后，Amazon Data Firehose 首先等待终端节点的确认。HTTP如果发生错误或确认未在确认超时时间内到达，Amazon Data Firehose 会启动重试持续时间计数器。它将不断重试，直到重试持续时间到期。之后，Amazon Data Firehose 认为这是数据传输失败，并将数据备份到您的亚马逊 S3 存储桶。

    每当 Amazon Data Firehose 向HTTP终端节点发送数据时（无论是初次尝试还是重试），它都会重新启动确认超时计数器并等待来自终端节点的确认。HTTP

    即使重试时长到期，Amazon Data Firehose 仍会等待确认，直到收到确认或达到确认超时时间。如果确认超时，Amazon Data Firehose 将确定重试计数器中是否还有剩余时间。如果有剩余时间，它将再次重试并重复该逻辑，直到收到确认或确定重试时间已到期。

    如果您不希望 Amazon Data Firehose 重试发送数据，请将此值设置为 0。

    参数（可选）

    Amazon Data Firehose 在每次调用中都包含这些键值对。HTTP这些参数可以帮助您识别和组织目标。

    缓冲提示

    Amazon Data Firehose 会先缓冲传入的数据，然后再将其传输到指定目的地。目标位置的建议缓冲区大小因服务提供商而异。

配置 Snowflake 的目的地设置

本节介绍将 Snowflake 用于目的地的选项。

注意

美国东部（弗吉尼亚北部）、美国西部（俄勒冈）、欧洲（爱尔兰）、美国东部（俄勒冈）、美国东部（俄亥俄州）、亚太地区（东京）、欧洲（法兰克福）、亚太地区（新加坡）、亚太地区（首尔）和亚太地区（悉尼）、亚太地区（孟买）、欧洲（伦敦）、南美洲（圣保罗）、加拿大（中部）、欧洲（巴黎）、欧洲（巴黎）、亚太地区（孟买）、欧洲（伦敦）、南美（圣保罗）、加拿大（中部）、欧洲（巴黎）、亚太地区（大阪）、欧洲（斯德哥尔摩）、亚太地区（雅加达） AWS 区域.

连接设置

  • 提供下列字段的值：

    雪花账号 URL

    指定 Snowflake 账户。URL例如：xy12345.us-east-1.aws.snowflakecomputing.com。有关如何确定您的账户的信息，请参阅 Snowflake 文档。URL请注意，您不能指定端口号，而协议 (https://) 是可选的。

    身份验证

    您可以选择手动输入用户登录名、私钥和密码，也可以从中检索密钥 AWS Secrets Manager 访问 Snowflake。

    • 用户登录

      指定用于加载数据的 Snowflake 用户。确保用户有权将数据插入到 Snowflake 表中。

    • 私有密钥

      指定用于通过 Snowflake 进行身份验证的用户私钥。确保私钥是PKCS8格式化的。请勿将页PEM眉和页脚包含在此密钥中。如果密钥被分成多行，请删除换行符。

    • Passphrase (密码)

      指定密码来解密加密的私钥。如果私钥未加密，则可以将此字段留空。有关信息，请参阅使用密钥对身份验证和密钥轮换。

    • 密钥

      从中选择一个密钥 AWS Secrets Manager 其中包含 Snowflake 的凭证。如果您在下拉列表中看不到您的密钥，请在下拉列表中创建一个 AWS Secrets Manager。 有关更多信息，请参阅使用进行身份验证 AWS Secrets Manager 在 Amazon Data Firehose 中。

    角色配置

    使用默认 Snowflake 角色 — 如果选择此选项，Firehose 将不会将任何角色传递给 Snowflake。假设默认角色是加载数据。请确保默认角色有权将数据插入到 Snowflake 表中。

    使用自定义 Snowflake 角色 — 输入将数据加载到 Snowflake 表时由 Firehose 担任的非默认雪花角色。

    雪花连接

    选项有 “私有” 或 “公开”。

    私有 VPCE ID（可选）

    Firehose 与 Snowflake 私下连接的 VPCE ID。身份证格式为 com.amazonaws.vpce。 [区域] .vpce-svc-[id]。 有关更多信息，请参阅 AWS PrivateLink 和 Snowflake 。

    注意

    确保你的 Snowflake 网络允许访问 Firehose。如果基于 IP 的网络策略已启用，我们建议您关闭您的 Snowflake 账户上的AwsVpceIds基于 IP 的网络策略。如果你在 Snowflake 中开启基于 IP 的网络策略，它可能会阻止 Firehose 的数据流量。如果您遇到需要基于 IP 的策略的边缘案例，请提交支持请求与 Firehose 团队联系。有关您可以VPCEIDs使用的列表，请参阅访问 Snowflake VPC。

数据库配置

  • 要使用 Snowflake 作为 Firehose 直播的目的地，必须指定以下设置。

    • Snowflake 数据库 — Snowflake 中的所有数据都保存在数据库中。

    • Snowflake 架构 — 每个数据库由一个或多个架构组成，这些架构是数据库对象（例如表和视图）的逻辑分组

    • Snowflake 表 — Snowflake 中的所有数据都存储在数据库表中，在逻辑上结构为列和行的集合。

您的 Snowflake 表的数据加载选项

  • 使用JSON键作为列名

  • 使用VARIANT列

    • 内容列名-在表中指定列名，原始数据必须加载到该表中。

    • 元数据列名（可选）-在表中指定列名，其中必须加载元数据信息。

Retry duration

如果 Snowflake 服务问题导致打开频道或向 Snowflake 交付失败，Firehose 重试的持续时间（0—7200 秒）。Firehose 以指数级退避重试，直到重试持续时间结束。如果您将重试持续时间设置为 0（零）秒，Firehose 不会在 Snowflake 失败时重试，而是将数据路由到 Amazon S3 错误存储桶。

缓冲区提示

Amazon Data Firehose 会先缓冲传入的数据，然后再将其传输到指定目的地。目标位置的建议缓冲区大小因服务提供商而异。有关更多信息，请参阅 配置缓冲提示。

为 Splunk 配置目标设置

本部分介绍使用 Splunk 作为目标的选项。

注意

Firehose 向配置了 Classic 负载均衡器或应用程序负载均衡器的 Splunk 集群传输数据。

  • 提供下列字段的值：

    Splunk cluster endpoint

    要确定终端节点，请参阅 Splunk 文档中的配置 Amazon Data Firehose 以向 Splunk 平台发送数据。

    Splunk endpoint type

    在大多数情况下，请选择 Raw endpoint。选择Event endpoint是否使用对数据进行预处理 AWS Lambda 按事件类型将数据发送到不同的索引。有关使用哪个终端节点的信息，请参阅 Splunk 文档中的配置 Amazon Data Firehose 以向 Splunk 平台发送数据。

    身份验证

    您可以选择直接输入身份验证令牌，也可以从中检索密钥 AWS Secrets Manager 访问 Splunk。

    HEC确认超时

    指定 Amazon Data Firehose 等待来自 Splunk 的索引确认需要多长时间。如果 Splunk 在达到超时时间之前没有发送确认，则 Amazon Data Firehose 会将其视为数据传输失败。然后，Amazon Data Firehose 要么重试数据，要么将数据备份到您的 Amazon S3 存储桶，具体取决于您设置的重试持续时间值。

    Retry duration

    指定 Amazon Data Firehose 重试向 Splunk 发送数据的时间长度。

    发送数据后，Amazon Data Firehose 首先等待 Splunk 的确认。如果发生错误或确认未在确认超时时间内到达，Amazon Data Firehose 会启动重试持续时间计数器。它将不断重试，直到重试持续时间到期。之后，Amazon Data Firehose 认为这是数据传输失败，并将数据备份到您的亚马逊 S3 存储桶。

    每当 Amazon Data Firehose 向 Splunk 发送数据（无论是初次尝试还是重试）时，它都会重新启动确认超时计数器并等待 Splunk 的确认。

    即使重试时长到期，Amazon Data Firehose 仍会等待确认，直到收到确认或达到确认超时时间。如果确认超时，Amazon Data Firehose 将确定重试计数器中是否还有剩余时间。如果有剩余时间，它将再次重试并重复该逻辑，直到收到确认或确定重试时间已到期。

    如果您不希望 Amazon Data Firehose 重试发送数据，请将此值设置为 0。

    缓冲提示

    Amazon Data Firehose 会先缓冲传入的数据，然后再将其传输到指定目的地。目标的建议缓冲区大小因服务提供商而异。

配置 Splunk 可观测性云的目标设置

本节介绍了使用 Splunk Observability Cloud 作为目标的选项。欲了解更多信息，请参阅 https://docs.splunk.com/observability/en/gdi/ get-data-in /connect/aws/aws-apiconfig.html #-api。connect-to-aws-using the-splunk-observability-cloud

  • 提供下列字段的值：

    云端采集终端节点 URL

    你可以在 Splunk 可观测性控制台的 “个人资料” > “组织” > “实时数据采集端点” URL 中找到 Splunk 可观测性云的实时数据采集。

    身份验证

    您可以选择直接输入访问令牌，也可以从中检索密钥 AWS Secrets Manager 访问 Splunk 可观测性云。

    • 访问令牌

      从 Splunk 可观察性控制台的 “设置” 下的 “访问令牌” 中复制带有INGEST授权范围的 Splunk 可观察性访问令牌。

    • 密钥

      从中选择一个密钥 AWS Secrets Manager 其中包含 Splunk 可观察性云的访问令牌。如果您在下拉列表中看不到您的密钥，请在下拉列表中创建一个 AWS Secrets Manager。 有关更多信息，请参阅使用进行身份验证 AWS Secrets Manager 在 Amazon Data Firehose 中。

    内容编码

    Amazon Data Firehose 使用内容编码来压缩请求的正文，然后再将其发送到目的地。选择GZIP或禁用以启用/禁用请求的内容编码。

    Retry duration

    指定 Amazon Data Firehose 重试向所选终端节点发送数据的时间长度。HTTP

    发送数据后，Amazon Data Firehose 首先等待终端节点的确认。HTTP如果发生错误或确认未在确认超时时间内到达，Amazon Data Firehose 会启动重试持续时间计数器。它将不断重试，直到重试持续时间到期。之后，Amazon Data Firehose 认为这是数据传输失败，并将数据备份到您的亚马逊 S3 存储桶。

    每当 Amazon Data Firehose 向HTTP终端节点发送数据时（无论是初次尝试还是重试），它都会重新启动确认超时计数器并等待来自终端节点的确认。HTTP

    即使重试时长到期，Amazon Data Firehose 仍会等待确认，直到收到确认或达到确认超时时间。如果确认超时，Amazon Data Firehose 将确定重试计数器中是否还有剩余时间。如果有剩余时间，它将再次重试并重复该逻辑，直到收到确认或确定重试时间已到期。

    如果您不希望 Amazon Data Firehose 重试发送数据，请将此值设置为 0。

    参数（可选）

    Amazon Data Firehose 在每次调用中都包含这些键值对。HTTP这些参数可以帮助您识别和组织目标。

    缓冲提示

    Amazon Data Firehose 会先缓冲传入的数据，然后再将其传输到指定目的地。目标位置的建议缓冲区大小因服务提供商而异。

配置 Sumo Logic 的目标设置

本节介绍了使用 Sumo Logic 作为目标的选项。有关更多信息，请参阅https://www.sumologic.com。

  • 提供下列字段的值：

    HTTP端点 URL

    按以下格式URL为HTTP端点指定：https://deployment name.sumologic.net/receiver/v1/kinesis/dataType/access token。URL必须是 HTTPSURL.

    内容编码

    Amazon Data Firehose 使用内容编码来压缩请求的正文，然后再将其发送到目的地。选择GZIP或禁用以启用/禁用请求的内容编码。

    Retry duration

    指定 Amazon Data Firehose 重试向 Sumo Logic 发送数据的时间长度。

    发送数据后，Amazon Data Firehose 首先等待终端节点的确认。HTTP如果发生错误或确认未在确认超时时间内到达，Amazon Data Firehose 会启动重试持续时间计数器。它将不断重试，直到重试持续时间到期。之后，Amazon Data Firehose 认为这是数据传输失败，并将数据备份到您的亚马逊 S3 存储桶。

    每当 Amazon Data Firehose 向HTTP终端节点发送数据时（无论是初次尝试还是重试），它都会重新启动确认超时计数器并等待来自终端节点的确认。HTTP

    即使重试时长到期，Amazon Data Firehose 仍会等待确认，直到收到确认或达到确认超时时间。如果确认超时，Amazon Data Firehose 将确定重试计数器中是否还有剩余时间。如果有剩余时间，它将再次重试并重复该逻辑，直到收到确认或确定重试时间已到期。

    如果您不希望 Amazon Data Firehose 重试发送数据，请将此值设置为 0。

    参数（可选）

    Amazon Data Firehose 在每次调用中都包含这些键值对。HTTP这些参数可以帮助您识别和组织目标。

    缓冲提示

    Amazon Data Firehose 会先缓冲传入的数据，然后再将其传输到指定目的地。Elastic 目标的建议缓冲区大小因服务提供商而异。

为 Elastic 配置目标设置

本节介绍了使用 Elastic 作为目标的选项。

  • 提供下列字段的值：

    弹性端点 URL

    按以下格式URL为HTTP端点指定：https://<cluster-id>.es.<region>.aws.elastic-cloud.com。URL必须是 HTTPSURL.

    身份验证

    您可以选择直接输入API密钥，也可以从中检索密钥 AWS Secrets Manager 访问 Elastic。

    • API钥匙

      联系 Elastic 获取允许从 Firehose 向其服务传输数据所需的API密钥。

    • 密钥

      从中选择一个密钥 AWS Secrets Manager 其中包含 Elastic 的API密钥。如果您在下拉列表中看不到您的密钥，请在下拉列表中创建一个 AWS Secrets Manager。 有关更多信息，请参阅使用进行身份验证 AWS Secrets Manager 在 Amazon Data Firehose 中。

    内容编码

    Amazon Data Firehose 使用内容编码来压缩请求的正文，然后再将其发送到目的地。选择 GZIP（这是默认选择的内容）或 “禁用” 以启用/禁用请求的内容编码。

    Retry duration

    指定 Amazon Data Firehose 重试向 Elastic 发送数据的时间长度。

    发送数据后，Amazon Data Firehose 首先等待终端节点的确认。HTTP如果发生错误或确认未在确认超时时间内到达，Amazon Data Firehose 会启动重试持续时间计数器。它将不断重试，直到重试持续时间到期。之后，Amazon Data Firehose 认为这是数据传输失败，并将数据备份到您的亚马逊 S3 存储桶。

    每当 Amazon Data Firehose 向HTTP终端节点发送数据时（无论是初次尝试还是重试），它都会重新启动确认超时计数器并等待来自终端节点的确认。HTTP

    即使重试时长到期，Amazon Data Firehose 仍会等待确认，直到收到确认或达到确认超时时间。如果确认超时，Amazon Data Firehose 将确定重试计数器中是否还有剩余时间。如果有剩余时间，它将再次重试并重复该逻辑，直到收到确认或确定重试时间已到期。

    如果您不希望 Amazon Data Firehose 重试发送数据，请将此值设置为 0。

    参数（可选）

    Amazon Data Firehose 在每次调用中都包含这些键值对。HTTP这些参数可以帮助您识别和组织目标。

    缓冲提示

    Amazon Data Firehose 会先缓冲传入的数据，然后再将其传输到指定目的地。Elastic 目标的建议缓冲区大小为 1MiB。