目的地設定 - Amazon 數據 Firehose

Amazon 數據 Firehose 以前被稱為 Amazon Kinesis Data Firehose

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

目的地設定

本主題會描述交付串流的目的地設定。如需緩衝提示的更多資訊,請參閱緩衝提示

選擇 Amazon S3 作為目的地

您必須指定下列設定,才能使用 Amazon S3 做為 Firehose 串流的目的地。

  • 請輸入下列欄位的值。

    S3 bucket (S3 儲存貯體)

    選擇要交付串流資料您所擁有的 S3 儲存貯體。您可以建立新的 S3 儲存貯體或選擇現有的。

    新行分隔符

    您可以設定交付串流,以在交付到 Amazon S3 的物件中的記錄之間新增行分隔符號。若要這麼做,請選擇已啟用。若要不在交付至 Amazon S3 的物件中的記錄之間新增行分隔符號,請選擇停用。如果您計劃使用 Athena 查詢具有彙總記錄的 S3 物件,請啟用此選項。

    動態分割

    選擇已啟用以啟用並設定動態分割。

    多記錄解彙

    此程序透過交付串流中的記錄進行剖析,並根據有效 JSON 或指定的新行分隔符號來分隔這些記錄。

    如果您將多個事件、記錄或記錄彙總到單一 PutRecord 和 PutRecordBatch API 呼叫中,您仍然可以啟用和設定動態磁碟分割。透過彙總資料,當您啟用動態分割時,Amazon Data Firehose 會剖析記錄,並在每個 API 呼叫中尋找多個有效的 JSON 物件。當 Firehose 串流設定為 Kinesis 資料串流作為來源時,您也可以使用 Kinesis 製作者程式庫 (KPL) 中的內建彙總。資料分割功能在資料取消彙整後執行。因此,每個 API 呼叫中的每個記錄都可以交付到不同的 Amazon S3 字首。您也可以利用 Lambda 函數整合,在資料分割功能之前執行任何其他取消彙整或任何其他轉換。

    重要

    如果您的資料已彙整,則只有在執行資料取消彙整之後才能套用動態分割。因此,如果您對彙整資料啟用動態分割,則必須選擇已啟用以啟用多記錄取消彙整。

    Firehose 串流會依照下列順序執行下列處理步驟:KPL (原始化) 解除彙總、JSON 或分隔符號解除彙總、Lambda 處理、資料分割、資料格式轉換以及 Amazon S3 交付。

    多記錄解彙總類型

    如果您啟用了多記錄解彙總,則必須指定 Firehose 解彙總資料的方法。使用下拉式功能表選擇 JSON分隔符號

    內嵌剖析

    這是其中一種支援的機制,可動態分割繫結到 Amazon S3 的資料。若要使用內嵌剖析來動態分割資料,您必須指定要用作分割索引鍵的資料記錄參數,並為每個指定的分割索引鍵提供一個值。選擇已啟用以啟用並設定內嵌剖析。

    重要

    如果您在上述步驟中指定 AWS Lambda 函數來轉換來源記錄,您可以使用此函數來動態分割繫結至 S3 的資料,而且您仍然可以使用內嵌剖析來建立分割索引鍵。透過動態分割,您可以使用內嵌剖析或 AWS Lambda 函數來建立分割金鑰。或者,您也可以同時使用內嵌剖析和 AWS Lambda 函數來建立分割金鑰。

    動態分割索引鍵

    您可以使用索引鍵欄位來指定要用作動態分割索引鍵的資料記錄參數,以及用來產生動態分割索引鍵值的 jq 查詢。Firehose 只支援 jq 1.6。您可以指定最多 50 個動態分割索引鍵。您必須為動態分區索引鍵值輸入有效的 jq 運算式,才能成功設定 Firehose 串流的動態磁碟分割。

    S3 儲存貯體的字首

    啟用和設定動態分割時,您必須指定 Amazon Data Firehose 要交付分區資料的 S3 儲存貯體前置詞。

    為了正確設定動態分割,S3 儲存貯體字首的數目必須與指定的分割索引鍵數目相同。

    您可以使用內嵌剖析或指定的 AWS Lambda 函數來分割來源資料。如果您指定 AWS Lambda 函數為來源資料建立分割金鑰,則必須使用下列格式手動輸入 S3 儲存貯體前置詞值:"L partitionKeyFrom ambda: keyID」。如果您使用內嵌剖析來指定來源資料的分割索引鍵,您可以使用下列格式手動輸入 S3 儲存貯體預覽值:"partitionKeyFromquery: keyID」,或者選擇 [套用動態分割金鑰] 按鈕,使用動態分割金鑰/值組來自動產生 S3 儲存貯體前置詞。使用內嵌剖析或 AWS Lambda 分割資料時,您也可以在 S3 儲存貯體前綴中使用下列運算式表單:! {命名空間:值},其中命名空間可以是查詢或 partitionKeyFrom Lambda。 partitionKeyFrom

    S3 儲存貯體和 S3 錯誤輸出前置詞時區

    Amazon 簡單儲存服務物件的自訂首碼中,選擇您要用於日期和時間的時區。依預設,Firehose 會以 UTC 格式新增時間前置字元。如果您想要使用不同的時區,可以變更 S3 前置字元中使用的時區。

    緩衝提示

    Firehose 會先緩衝傳入的資料,然後再將其傳送到指定的目的地。建議的目的地緩衝區大小因服務提供者而異。

    S3 壓縮

    選擇 GZIP、Snappy、Zip 或 Hadoopp 相容的 Snappy 資料壓縮,或不壓縮資料。以 Amazon Redshift 作為目的地的交付串流無法使用 Snappy、Zip 和 Hadoopp 相容的 Snappy 壓縮功能。

    S3 檔案副檔名格式 (選用)

    為交付到 Amazon S3 目的地儲存貯體的物件指定副檔名格式。如果啟用此功能,指定的副檔名將會覆寫資料格式轉換或 S3 壓縮功能 (例如 .拍板或 .gz) 所附加的預設副檔名。將此功能與資料格式轉換或 S3 壓縮搭配使用時,請確定您是否設定了正確的副檔名。副檔名必須以句點 (.) 開頭,且可包含允許的字元:0-9a-z! -_.*' ()。副檔名不能超過 128 個字元。

    S3 加密

    Firehose 支援使用 AWS Key Management Service (SSE-KMS) 的 Amazon S3 伺服器端加密,以便在 Amazon S3 中加密交付的資料。您可以選擇使用目的地 S3 儲存貯體中指定的預設加密類型,或使用您擁有的金鑰清單中的 AWS KMS 金鑰加密。如果您使用 AWS KMS 金鑰加密資料,則可以使用預設 AWS 受管金鑰 (aws/s3) 或客戶受管金鑰。如需詳細資訊,請參閱使用 K AWS MS 管理金鑰 (SSE-KMS) 使用伺服器端加密來保護資料

針對目的地,選擇 Amazon Redshift

本節說明使用 Amazon Redshift 作為您的 Firehose 串流目的地的設定。

根據您是擁有 Amazon Redshift 佈建的叢集,還是 Amazon Redshift Serverless 工作群組,選擇下列其中一個程序。

Amazon Redshift 佈建叢集

本節說明使用 Amazon Redshift 佈建的叢集做為您的 Firehose 串流目的地的設定。

  • 為下列欄位輸入值:

    叢集

    要放入複製的 S3 儲存貯體的 Amazon Redshift 叢集。將 Amazon Redshift 叢集設定為可公開存取,並解除封鎖 Amazon 資料 Firehose IP 地址。如需詳細資訊,請參閱 授予 Amazon 數據 Firehose 訪問亞 Amazon Redshift 目的地

    使用者名稱

    有 Amazon Redshift 叢集存取許可的 Amazon Redshift 使用者。該使用者必須具備 Amazon Redshift INSERT 許可,才能夠將 S3 儲存貯體中的資料複製到 Amazon Redshift 叢集。

    密碼

    有權存取叢集的使用者的密碼。

    資料庫

    要放入複製資料的 Amazon Redshift 資料庫。

    資料表

    要放入複製資料的 Amazon Redshift 資料表。

    資料欄

    (選用) 要放入複製資料的表格特定資料欄。如果您的 Amazon S3 物件中定義的資料欄數量少於 Amazon Redshift 資料表中的欄位數量,請使用此選項。

    中繼 S3 目的地

    Firehose 會先將您的資料交付到 S3 儲存貯體,然後發出 Amazon Redshift COPY 命令,將資料載入您的 Amazon Redshift 叢集。指定要交付串流資料您所擁有的 S3 儲存貯體。建立新的 S3 儲存貯體,或是選擇您目前擁有的儲存貯體。

    Firehose 將資料載入您的 Amazon Redshift 叢集後,不會從 S3 儲存貯體中刪除該資料。您可以使用生命週期配置管理 S3 儲存貯體中的資料。如需詳細資訊,請參閱《Amazon Simple Storage Service 使用者指南》中的物件生命週期管理

    中繼 S3 字首

    (選用) 要使用 Amazon S3 物件的預設字首,請將此選項保留空白。對於交付的 Amazon S3 物件,Firehose 會自動使用 YYYY/MM/dd/HH "" UTC 時間格式的前綴。您可以新增到此字首前方。如需詳細資訊,請參閱 Amazon S3 物件名稱格式

    COPY options (COPY 選項)

    此處指的是可以在 Amazon Redshift COPY 命令中指定的參數。您可以根據自己的組態來指定這些參數。例如,如果啟用 Amazon S3 資料壓縮,則需要 GZIP ""。 如果您的 S3 儲存貯體與 Amazon Redshift 叢集不在相同的 AWS 區域,則需要「REGION"。如需詳細資訊,請參閱《Amazon Redshift 資料庫開發人員指南》中的 COPY

    COPY command (COPY 命令)

    Amazon Redshift COPY 命令。如需詳細資訊,請參閱《Amazon Redshift 資料庫開發人員指南》中的 COPY

    Retry duration (重試持續時間)

    如果傳送至 Amazon Redshift 叢集的資料COPY失敗,Firehose 重試的持續時間 (0—7200 秒)。Firehose 每 5 分鐘重試一次,直到重試持續時間結束為止。如果您將重試持續時間設置為 0(零)秒,Firehose 在COPY命令失敗時不會重試。

    緩衝提示

    Firehose 會先緩衝傳入的資料,然後再將其傳送到指定的目的地。建議的目的地緩衝區大小因服務提供者而異。

    S3 壓縮

    選擇 GZIP、Snappy、Zip 或 Hadoopp 相容的 Snappy 資料壓縮,或不壓縮資料。以 Amazon Redshift 作為目的地的交付串流無法使用 Snappy、Zip 和 Hadoopp 相容的 Snappy 壓縮功能。

    S3 檔案副檔名格式 (選用)

    S3 檔案副檔名格式 (選用) — 為交付到 Amazon S3 目的地儲存貯體的物件指定檔案副檔名格式。如果啟用此功能,指定的副檔名將會覆寫資料格式轉換或 S3 壓縮功能 (例如 .拍板或 .gz) 所附加的預設副檔名。將此功能與資料格式轉換或 S3 壓縮搭配使用時,請確定您是否設定了正確的副檔名。副檔名必須以句點 (.) 開頭,且可包含允許的字元:0-9a-z! -_.*' ()。副檔名不能超過 128 個字元。

    S3 加密

    Firehose 支援使用 AWS Key Management Service (SSE-KMS) 的 Amazon S3 伺服器端加密,以便在 Amazon S3 中加密交付的資料。您可以選擇使用目的地 S3 儲存貯體中指定的預設加密類型,或使用您擁有的金鑰清單中的 AWS KMS 金鑰加密。如果您使用 AWS KMS 金鑰加密資料,則可以使用預設 AWS 受管金鑰 (aws/s3) 或客戶受管金鑰。如需詳細資訊,請參閱使用 K AWS MS 管理金鑰 (SSE-KMS) 使用伺服器端加密來保護資料

Amazon Redshift Serverless 工作群組

本節說明使用 Amazon Redshift 無伺服器工作群組做為您的 Firehose 串流目的地的設定。

  • 為下列欄位輸入值:

    Workgroup name (工作群組名稱)

    要將 S3 儲存貯體資料複製到的 Amazon Redshift Serverless 工作群組。將 Amazon Redshift 無伺服器工作群組設定為可公開存取,並將 Firehose IP 地址解除封鎖。如需詳細資訊,請參閱連線至 Amazon Redshift Serverless 中「連線至可公開存取的 Amazon Redshift Serverless 執行個體」一節以及 授予 Amazon 數據 Firehose 訪問亞 Amazon Redshift 目的地

    使用者名稱

    有 Amazon Redshift Serverless 工作群組存取許可的 Amazon Redshift 使用者。該使用者必須具備 Amazon Redshift INSERT 許可,才可以將 S3 儲存貯體中的資料複製至 Amazon Redshift Serverless 工作群組。

    密碼

    具有存取 Amazon Redshift Serverless 工作群組許可之使用者的密碼。

    資料庫

    要放入複製資料的 Amazon Redshift 資料庫。

    資料表

    要放入複製資料的 Amazon Redshift 資料表。

    資料欄

    (選用) 要放入複製資料的表格特定資料欄。如果您的 Amazon S3 物件中定義的資料欄數量少於 Amazon Redshift 資料表中的欄位數量,請使用此選項。

    中繼 S3 目的地

    亞馬遜資料 Firehose 會先將您的資料交付到 S3 儲存貯體,然後發出 Amazon Redshift COPY 命令,將資料載入您的 Amazon Redshift 無伺服器工作群組。指定要交付串流資料您所擁有的 S3 儲存貯體。建立新的 S3 儲存貯體,或是選擇您目前擁有的儲存貯體。

    將資料載入 Amazon Redshift 無伺服器工作群組後,Firehose 不會刪除 S3 儲存貯體中的資料。您可以使用生命週期配置管理 S3 儲存貯體中的資料。如需詳細資訊,請參閱《Amazon Simple Storage Service 使用者指南》中的物件生命週期管理

    中繼 S3 字首

    (選用) 要使用 Amazon S3 物件的預設字首,請將此選項保留空白。對於交付的 Amazon S3 物件,Firehose 會自動使用 YYYY/MM/dd/HH "" UTC 時間格式的前綴。您可以新增到此字首前方。如需詳細資訊,請參閱 Amazon S3 物件名稱格式

    COPY options (COPY 選項)

    此處指的是可以在 Amazon Redshift COPY 命令中指定的參數。您可以根據自己的組態來指定這些參數。例如,如果啟用 Amazon S3 資料壓縮,則需要 GZIP ""。 如果您的 S3 儲存貯體與 Amazon Redshift 無伺服器工作群組位於相同的 AWS 區域,則需要「REGION"。如需詳細資訊,請參閱《Amazon Redshift 資料庫開發人員指南》中的 COPY

    COPY command (COPY 命令)

    Amazon Redshift COPY 命令。如需詳細資訊,請參閱《Amazon Redshift 資料庫開發人員指南》中的 COPY

    Retry duration (重試持續時間)

    如果傳送給 Amazon Redshift 無伺服器工作群組的資料COPY失敗,Firehose 重試的持續時間 (0—7200 秒)。Firehose 每 5 分鐘重試一次,直到重試持續時間結束為止。如果您將重試持續時間設置為 0(零)秒,Firehose 在COPY命令失敗時不會重試。

    緩衝提示

    Firehose 會先緩衝傳入的資料,然後再將其傳送到指定的目的地。建議的目的地緩衝區大小因服務提供者而異。

    S3 壓縮

    選擇 GZIP、Snappy、Zip 或 Hadoopp 相容的 Snappy 資料壓縮,或不壓縮資料。以 Amazon Redshift 作為目的地的交付串流無法使用 Snappy、Zip 和 Hadoopp 相容的 Snappy 壓縮功能。

    S3 檔案副檔名格式 (選用)

    S3 檔案副檔名格式 (選用) — 為交付到 Amazon S3 目的地儲存貯體的物件指定檔案副檔名格式。如果啟用此功能,指定的副檔名將會覆寫資料格式轉換或 S3 壓縮功能 (例如 .拍板或 .gz) 所附加的預設副檔名。將此功能與資料格式轉換或 S3 壓縮搭配使用時,請確定您是否設定了正確的副檔名。副檔名必須以句點 (.) 開頭,且可包含允許的字元:0-9a-z! -_.*' ()。副檔名不能超過 128 個字元。

    S3 加密

    Firehose 支援使用 AWS Key Management Service (SSE-KMS) 的 Amazon S3 伺服器端加密,以便在 Amazon S3 中加密交付的資料。您可以選擇使用目的地 S3 儲存貯體中指定的預設加密類型,或使用您擁有的金鑰清單中的 AWS KMS 金鑰加密。如果您使用 AWS KMS 金鑰加密資料,則可以使用預設 AWS 受管金鑰 (aws/s3) 或客戶受管金鑰。如需詳細資訊,請參閱使用 K AWS MS 管理金鑰 (SSE-KMS) 使用伺服器端加密來保護資料

選擇適合您目的地的 OpenSearch 服務

本節說明針對目的地使用 OpenSearch 服務的選項。

  • 為下列欄位輸入值:

    OpenSearch 服務網域

    您的資料傳送到的 OpenSearch 服務網域。

    索引

    將資料索引編入 OpenSearch 服務叢集時要使用的 OpenSearch 服務索引名稱。

    Index rotation (索引輪換)

    選擇是否應輪換 OpenSearch 服務索引以及輪換頻率。如果啟用了索引輪換,Amazon Data Firehose 會將對應的時間戳記附加到指定的索引名稱並進行輪換。如需詳細資訊,請參閱 OpenSearch 服務目的地的索引輪替

    類型

    將資料索引到 OpenSearch 服務叢集時要使用的 OpenSearch 服務類型名稱。對於彈性搜索 7.x 和 OpenSearch 1.x,每個索引只能有一種類型。如果您嘗試為已有其他類型的現有索引指定新類型,Firehose 會在執行階段傳回錯誤。

    針對 Elasticsearch 7.x,將此欄位保留空白。

    Retry duration (重試持續時間)

    如果索引請求 OpenSearch 失敗,Firehose 重試的持續時間。在這種情況下,Firehose 會每 5 分鐘重試一次,直到重試持續時間過期為止。對於重試持續時間,您可以設置 0-7200 秒之間的任何值。

    重試持續時間過期後,Firehose 會將資料傳送至無效字母佇列 (DLQ),這是一個已設定的 S3 錯誤儲存貯體。對於傳送至 DLQ 的資料,您必須將資料從設定的 S3 錯誤儲存貯體重新驅動回目的 OpenSearch 地。

    如果您想要封鎖 Firehose 串流因為停機或 OpenSearch 叢集維護而無法將資料傳送至 DLQ,您可以將重試持續時間設定為更高的值 (以秒為單位)。您可以通過聯繫支持將重試AWS 持續時間值增加到 7200 秒以上。

    DocumentID 類型

    表示設定文件 ID 的方法。支援的方法是 Firefox 產生的文件 ID 和 OpenSearch服務產生的文件 ID。未設定文件 ID 值時,FireHost 產生的文件 ID 是預設選項。 OpenSearch建議使用服務產生的文件 ID,因為它支援大量寫入作業 (包括記錄分析和可觀察性),在 OpenSearch Service 網域消耗較少的 CPU 資源,進而改善效能。

    目的地 VPC 連線能力

    如果您的 OpenSearch 服務網域位於私人 VPC 中,請使用此區段來指定該 VPC。同時指定您希望 Amazon Data Firehose 在將資料傳送到您 OpenSearch的服務網域時使用的子網路和子群組。您可以使用 Ser OpenSearch vice 網域所使用的相同安全性群組。如果您指定不同的安全性群組,請確定這些群組允許輸出 HTTPS 流量傳送至 OpenSearch 服務網域的安全性群組。此外,請確定 OpenSearch 服務網域的安全性群組允許您設定 Firehose 串流時指定的安全性群組的 HTTPS 流量。如果您對 Firehose 串流和 OpenSearch 服務網域使用相同的安全性群組,請確定安全性群組的輸入規則允許 HTTPS 流量。如需安全群組規則的詳細資訊,請參閱 Amazon VPC 文件中 OpenSearch 的安全群組規則

    重要

    當您指定子網路以將資料傳送至私有 VPC 中的目的地時,請確定所選子網路中有足夠數量的可用 IP 位址。如果指定的子網路中沒有可用的可用 IP 位址,Firehose 無法在私有 VPC 中為資料傳遞建立或新增 ENI,而且傳遞將會降級或失敗。

    緩衝提示

    Amazon 資料 Firehose 會先緩衝傳入的資料,然後再將其傳送到指定的目的地。建議的目的地緩衝區大小因服務提供者而異。

為您的目的地選擇 OpenSearch 無伺服器

本節說明在目的地使用 OpenSearch 無伺服器的選項。

  • 為下列欄位輸入值:

    OpenSearch 無伺服器收集

    資料傳送至的一組 OpenSearch 無伺服器索引的端點。

    索引

    將資料索引至 OpenSearch 無伺服器集合時使用的 OpenSearch 無伺服器索引名稱。

    目的地 VPC 連線能力

    如果您的 OpenSearch 無伺服器集合位於私人 VPC 中,請使用此區段來指定該 VPC。同時指定您希望 Amazon Data Firehose 在將資料傳送到無伺服器集合時使用的子網路和子群組。 OpenSearch

    重要

    當您指定子網路以將資料傳送至私有 VPC 中的目的地時,請確定所選子網路中有足夠數量的可用 IP 位址。如果指定的子網路中沒有可用的可用 IP 位址,Firehose 無法在私有 VPC 中為資料傳遞建立或新增 ENI,而且傳遞將會降級或失敗。

    Retry duration (重試持續時間)

    如果向 OpenSearch 無伺服器發出索引請求失敗,Firehose 重試的持續時間。在這種情況下,Firehose 會每 5 分鐘重試一次,直到重試持續時間過期為止。對於重試持續時間,您可以設置 0-7200 秒之間的任何值。

    重試持續時間過期後,Firehose 會將資料傳送至無效字母佇列 (DLQ),這是一個已設定的 S3 錯誤儲存貯體。對於傳送至 DLQ 的資料,您必須將資料從設定的 S3 錯誤儲存貯體重新驅動回 OpenSearch 無伺服器目的地。

    如果您想要阻止 Firehose 串流因停機或 OpenSearch 無伺服器叢集的維護而將資料傳遞至 DLQ,您可以將重試持續時間設定為更高的值 (以秒為單位)。您可以通過聯繫支持將重試AWS 持續時間值增加到 7200 秒以上。

    緩衝提示

    Amazon 資料 Firehose 會先緩衝傳入的資料,然後再將其傳送到指定的目的地。建議的目的地緩衝區大小因服務提供者而異。

為您的目的地選擇 HTTP 端點

本節會描述使用 HTTP 端點作為目的地的選項。

重要

如果您選擇 HTTP 端點作為目的地,則請檢閱並遵循 附錄 – HTTP 端點交付請求和回應規格 中的指示。

  • 為下列欄位提供值:

    HTTP 端點名稱 - 選用

    指定 HTTP 端點的使用者易記名稱。例如 My HTTP Endpoint Destination

    HTTP 端點 URL

    請使用下列格式指定 HTTP 端點的 URL:https://xyz.httpendpoint.com。該 URL 必須為 HTTPS URL。

    存取金鑰 - 選用

    請聯絡端點擁有者以取得存取金鑰 (如果需要),以便從 Firehose 將資料傳送至其端點。

    內容編碼

    Amazon Data Firehose 會使用內容編碼來壓縮請求本文,然後再將請求傳送到目的地。選擇 GZIP已停用以啟用/停用請求的內容編碼。

    Retry duration (重試持續時間)

    指定 Amazon 資料 Firehose 重試將資料傳送到所選 HTTP 端點的時間長度。

    傳送資料之後,Amazon 資料 Firehose 會先等待來自 HTTP 端點的確認。如果發生錯誤或確認未在確認逾時期間內送達,Amazon Data Firehose 會啟動重試持續時間計數器。直到重試持續時間過期之前,該服務都不會中斷重試作業。之後,亞馬遜數據 Firehose 將其視為數據交付失敗,並將數據備份到您的 Amazon S3 存儲桶。

    每次 Amazon Data Firehose 將資料傳送到 HTTP 端點 (無論是初始嘗試還是重試),都會重新啟動確認逾時計數器,並等待來自 HTTP 端點的確認。

    即使重試持續時間過期,Amazon Data Firehose 仍會等待確認,直到收到確認或已到達確認逾時期間為止。如果確認逾時,Amazon 資料 Firehose 會判斷重試計數器是否還有剩餘時間。如果還有時間,將再次重試並重複執行邏輯,直到收到確認或判斷已無重試時間為止。

    如果您不希望 Amazon 資料 Firehose 重試傳送資料,請將此值設定為 0。

    參數 - 選用

    Amazon 數據 Firehose 在每個 HTTP 調用中包含這些鍵值對。這些參數可協助您識別和整理目的地。

    緩衝提示

    Amazon 資料 Firehose 會先緩衝傳入的資料,然後再將其傳送到指定的目的地。建議的目的地緩衝區大小因服務提供者而異。

    重要

    對於 HTTP 端點目的地,如果您在 CloudWatch 記錄檔中看到來自目標端點的 413 個回應碼,請降低 Firehose 串流上的緩衝提示大小,然後再試一次。

選擇 Datadog 作為目的地

本節說明使用 Datadog 作為目的地的選項。如需有關 Datadog 的詳細資訊,請參閱 https://docs.datadoghq.com/integrations/amazon_web_services/

  • 為下列欄位提供值:

    HTTP 端點 URL

    從下拉式功能表的下列選項中選擇 HTTP 端點 URL:

    • Datadog 日誌 - US1

    • Datadog 日誌 - US5

    • Datadog 日誌 - EU

    • Datadog 日誌 - GOV

    • Datadog 指標 - US

    • Datadog 指標 - EU

    API 金鑰

    請聯絡資料多,以取得啟用資料從 Amazon 資料 Firehose 傳送至此端點所需的 API 金鑰。

    內容編碼

    Amazon Data Firehose 會使用內容編碼來壓縮請求本文,然後再將請求傳送到目的地。選擇 GZIP已停用以啟用/停用請求的內容編碼。

    Retry duration (重試持續時間)

    指定 Amazon 資料 Firehose 重試將資料傳送到所選 HTTP 端點的時間長度。

    傳送資料之後,Amazon 資料 Firehose 會先等待來自 HTTP 端點的確認。如果發生錯誤或確認未在確認逾時期間內送達,Amazon Data Firehose 會啟動重試持續時間計數器。直到重試持續時間過期之前,該服務都不會中斷重試作業。之後,亞馬遜數據 Firehose 將其視為數據交付失敗,並將數據備份到您的 Amazon S3 存儲桶。

    每次 Amazon Data Firehose 將資料傳送到 HTTP 端點 (無論是初始嘗試還是重試),都會重新啟動確認逾時計數器,並等待來自 HTTP 端點的確認。

    即使重試持續時間過期,Amazon Data Firehose 仍會等待確認,直到收到確認或已到達確認逾時期間為止。如果確認逾時,Amazon 資料 Firehose 會判斷重試計數器是否還有剩餘時間。如果還有時間,將再次重試並重複執行邏輯,直到收到確認或判斷已無重試時間為止。

    如果您不希望 Amazon 資料 Firehose 重試傳送資料,請將此值設定為 0。

    參數 - 選用

    Amazon 數據 Firehose 在每個 HTTP 調用中包含這些鍵值對。這些參數可協助您識別和整理目的地。

    緩衝提示

    Amazon 資料 Firehose 會先緩衝傳入的資料,然後再將其傳送到指定的目的地。建議的目的地緩衝區大小因服務提供者而異。

為您的目的地選擇 Honeycomb

本節說明使用 Honeycomb 作為目的地的選項。如需有關蜂巢的詳細資訊,請參閱 https://docs.honeycomb.io/ getting-data-in /度量標準//aws-cloudwatch-metrics

  • 為下列欄位提供值:

    Honeycomb Kinesis 端點

    請使用下列格式指定 HTTP 端點的 URL:https://api.honeycomb.io/1/kinesis_events/{{dataset}}

    API 金鑰

    請聯絡蜂巢以取得啟用資料從 Amazon 資料 Firehose 傳送至此端點所需的 API 金鑰。

    內容編碼

    Amazon Data Firehose 會使用內容編碼來壓縮請求本文,然後再將請求傳送到目的地。選擇 GZIP 以啟用要求的內容編碼。這是 Honeycomb 目的地的建議選項。

    Retry duration (重試持續時間)

    指定 Amazon 資料 Firehose 重試將資料傳送到所選 HTTP 端點的時間長度。

    傳送資料之後,Amazon 資料 Firehose 會先等待來自 HTTP 端點的確認。如果發生錯誤或確認未在確認逾時期間內送達,Amazon Data Firehose 會啟動重試持續時間計數器。直到重試持續時間過期之前,該服務都不會中斷重試作業。之後,亞馬遜數據 Firehose 將其視為數據交付失敗,並將數據備份到您的 Amazon S3 存儲桶。

    每次 Amazon Data Firehose 將資料傳送到 HTTP 端點 (無論是初始嘗試還是重試),都會重新啟動確認逾時計數器,並等待來自 HTTP 端點的確認。

    即使重試持續時間過期,Amazon Data Firehose 仍會等待確認,直到收到確認或已到達確認逾時期間為止。如果確認逾時,Amazon 資料 Firehose 會判斷重試計數器是否還有剩餘時間。如果還有時間,將再次重試並重複執行邏輯,直到收到確認或判斷已無重試時間為止。

    如果您不希望 Amazon 資料 Firehose 重試傳送資料,請將此值設定為 0。

    參數 - 選用

    Amazon 數據 Firehose 在每個 HTTP 調用中包含這些鍵值對。這些參數可協助您識別和整理目的地。

    緩衝提示

    Amazon 資料 Firehose 會先緩衝傳入的資料,然後再將其傳送到指定的目的地。建議的目的地緩衝區大小因服務提供者而異。

選擇 Coralogix 作為您的目的地

本節會描述使用 Coralogix 作為目的地的選項。如需 Coralogix 的詳細資訊,請參閱 https://coralogix.com/integrations/aws-firehose

  • 為下列欄位提供值:

    HTTP 端點 URL

    從下拉式功能表的下列選項中選擇 HTTP 端點 URL:

    • Coralogix - US

    • Coralogix - SINGAPORE

    • Coralogix - IRELAND

    • Coralogix - INDIA

    • Coralogix - STOCKHOLM

    私有金鑰

    請聯絡 Coralogix 以取得啟用資料從 Amazon 資料 Firehose 傳送到此端點所需的私密金鑰。

    內容編碼

    Amazon Data Firehose 會使用內容編碼來壓縮請求本文,然後再將請求傳送到目的地。選擇 GZIP 以啟用要求的內容編碼。這是 Coralogix 目的地的建議選項。

    Retry duration (重試持續時間)

    指定 Amazon 資料 Firehose 重試將資料傳送到所選 HTTP 端點的時間長度。

    傳送資料之後,Amazon 資料 Firehose 會先等待來自 HTTP 端點的確認。如果發生錯誤或確認未在確認逾時期間內送達,Amazon Data Firehose 會啟動重試持續時間計數器。直到重試持續時間過期之前,該服務都不會中斷重試作業。之後,亞馬遜數據 Firehose 將其視為數據交付失敗,並將數據備份到您的 Amazon S3 存儲桶。

    每次 Amazon Data Firehose 將資料傳送到 HTTP 端點 (無論是初始嘗試還是重試),都會重新啟動確認逾時計數器,並等待來自 HTTP 端點的確認。

    即使重試持續時間過期,Amazon Data Firehose 仍會等待確認,直到收到確認或已到達確認逾時期間為止。如果確認逾時,Amazon 資料 Firehose 會判斷重試計數器是否還有剩餘時間。如果還有時間,將再次重試並重複執行邏輯,直到收到確認或判斷已無重試時間為止。

    如果您不希望 Amazon 資料 Firehose 重試傳送資料,請將此值設定為 0。

    參數 - 選用

    Amazon 數據 Firehose 在每個 HTTP 調用中包含這些鍵值對。這些參數可協助您識別和整理目的地。

    • applicationName:執行 Data Firehose 的環境

    • subsystemName:資料 Firehose 整合的名稱

    • 電腦名稱:使用中的「Firehose」串流的名稱

    緩衝提示

    Amazon 資料 Firehose 會先緩衝傳入的資料,然後再將其傳送到指定的目的地。建議的目的地緩衝區大小因服務提供者而異。

選擇 Dynatrace 作為目的地

本節會描述使用 Dynatrace 作為目的地的選項。如需詳細資訊,請參閱 https://www.dynatrace.com/support/help/technology-support/cloud-platforms/ amazon-web-services /整合//cloudwatch-metric-streams

  • 選擇選項以使用 Dynatrace 作為您的 Firehose 交付串流的目的地:

    擷取類型

    選擇是否要在 Dynatrace 中傳送指標日誌(預設值),以供進一步分析和處理。

    HTTP 端點 URL

    從下拉式功能表中選擇 HTTP 端點網址 (美國地區、達國賽歐盟或全球冠軍)。

    API 記號

    生成從 Firehose 傳送數據所需的達伊那賽 API 令牌。有關如何生成此令牌的更多信息,請參閱 Dynatrace API-令牌和身份驗證。

    API URL

    提供您的 Dynatrace 環境的 API URL。

    內容編碼

    選擇是否要啟用內容編碼來壓縮要求內文。Amazon Data Firehose 會使用內容編碼來壓縮請求本文,然後再將請求傳送到目的地。啟用時,會以 GZIP 格式壓縮的內容。

    Retry duration (重試持續時間)

    指定 Firehose 重試將資料傳送到選取的 HTTP 端點的時間長度。

    傳送資料之後,Firehose 會先等待來自 HTTP 端點的確認。如果發生錯誤或確認未在確認逾時期間內送達,Firehose 會啟動重試持續時間計數器。直到重試持續時間過期之前,該服務都不會中斷重試作業。之後,Firehose 會將其視為資料交付失敗,並將資料備份到您的 Amazon S3 儲存貯體。

    每次 Firehose 將資料傳送至 HTTP 端點時,無論是在初始嘗試或重試之後,都會重新啟動確認逾時計數器,並等待 HTTP 端點的確認。

    即使重試持續時間過期,Firehose 仍會等待確認,直到收到確認或已達到確認逾時時間為止。如果確認逾時,Firehose 會判斷重試計數器是否還有剩餘時間。如果還有時間,將再次重試並重複執行邏輯,直到收到確認或判斷已無重試時間為止。

    如果您不希望 Firehose 重試傳送資料,請將此值設定為 0。

    參數 - 選用

    Amazon 數據 Firehose 在每個 HTTP 調用中包含這些鍵值對。這些參數可協助您識別和整理目的地。

    緩衝提示

    Amazon 資料 Firehose 會先緩衝傳入的資料,然後再將其傳送到指定的目的地。緩衝區提示包括串流的緩衝區大小和間隔。根據服務提供者的不同,建議的目的地緩衝區大小會有所不同。

選擇您 LogicMonitor 的目的地

本節說明用於目的地LogicMonitor的選項。如需詳細資訊,請參閱 https://www.logicmonitor.com

  • 為下列欄位提供值:

    HTTP 端點 URL

    請使用下列格式指定 HTTP 端點的 URL:https://ACCOUNT.logicmonitor.com

    API 金鑰

    請聯絡 LogicMonitor 以取得啟用從 Amazon 資料 Firehose 向此端點傳送資料所需的 API 金鑰。

    內容編碼

    Amazon Data Firehose 會使用內容編碼來壓縮請求本文,然後再將請求傳送到目的地。選擇 GZIP已停用以啟用/停用請求的內容編碼。

    Retry duration (重試持續時間)

    指定 Amazon 資料 Firehose 重試將資料傳送到所選 HTTP 端點的時間長度。

    傳送資料之後,Amazon 資料 Firehose 會先等待來自 HTTP 端點的確認。如果發生錯誤或確認未在確認逾時期間內送達,Amazon Data Firehose 會啟動重試持續時間計數器。直到重試持續時間過期之前,該服務都不會中斷重試作業。之後,亞馬遜數據 Firehose 將其視為數據交付失敗,並將數據備份到您的 Amazon S3 存儲桶。

    每次 Amazon Data Firehose 將資料傳送到 HTTP 端點 (無論是初始嘗試還是重試),都會重新啟動確認逾時計數器,並等待來自 HTTP 端點的確認。

    即使重試持續時間過期,Amazon Data Firehose 仍會等待確認,直到收到確認或已到達確認逾時期間為止。如果確認逾時,Amazon 資料 Firehose 會判斷重試計數器是否還有剩餘時間。如果還有時間,將再次重試並重複執行邏輯,直到收到確認或判斷已無重試時間為止。

    如果您不希望 Amazon 資料 Firehose 重試傳送資料,請將此值設定為 0。

    參數 - 選用

    Amazon 數據 Firehose 在每個 HTTP 調用中包含這些鍵值對。這些參數可協助您識別和整理目的地。

    緩衝提示

    Amazon 資料 Firehose 會先緩衝傳入的資料,然後再將其傳送到指定的目的地。建議的目的地緩衝區大小因服務提供者而異。

選擇 Logz.io 作為目的地

本節說明使用 Logz.io 作為目的地的選項。如需詳細資訊,請參閱 https://logz.io/

注意

在歐洲 (米蘭) 地區,Logz.io 不支援做為 Amazon 資料 Firehose 目的地。

  • 為下列欄位提供值:

    HTTP 端點 URL

    請使用下列格式指定 HTTP 端點的 URL:https://listener-aws-metrics-stream-<region>.logz.io/。例如 https://listener-aws-metrics-stream-us.logz.io/。該 URL 必須為 HTTPS URL。

    內容編碼

    Amazon Data Firehose 會使用內容編碼來壓縮請求本文,然後再將請求傳送到目的地。選擇 GZIP已停用以啟用/停用請求的內容編碼。

    Retry duration (重試持續時間)

    指定 Amazon 數據 Firehose 重試將數據發送到 Logz.io 的時間長度。

    傳送資料之後,Amazon 資料 Firehose 會先等待來自 HTTP 端點的確認。如果發生錯誤或確認未在確認逾時期間內送達,Amazon Data Firehose 會啟動重試持續時間計數器。直到重試持續時間過期之前,該服務都不會中斷重試作業。之後,亞馬遜數據 Firehose 將其視為數據交付失敗,並將數據備份到您的 Amazon S3 存儲桶。

    每次 Amazon Data Firehose 將資料傳送到 HTTP 端點 (無論是初始嘗試還是重試),都會重新啟動確認逾時計數器,並等待來自 HTTP 端點的確認。

    即使重試持續時間過期,Amazon Data Firehose 仍會等待確認,直到收到確認或已到達確認逾時期間為止。如果確認逾時,Amazon 資料 Firehose 會判斷重試計數器是否還有剩餘時間。如果還有時間,將再次重試並重複執行邏輯,直到收到確認或判斷已無重試時間為止。

    如果您不希望 Amazon 資料 Firehose 重試傳送資料,請將此值設定為 0。

    參數 - 選用

    Amazon 數據 Firehose 在每個 HTTP 調用中包含這些鍵值對。這些參數可協助您識別和整理目的地。

    緩衝提示

    Amazon 資料 Firehose 會先緩衝傳入的資料,然後再將其傳送到指定的目的地。建議的目的地緩衝區大小因服務提供者而異。

選擇 MongoDB Cloud 作為目的地

本節會描述使用 MongoDB Cloud 作為目的地的選項。如需詳細資訊,請參閱 https://www.mongodb.com

  • 為下列欄位提供值:

    MongoDB 領域 webhook URL

    請使用下列格式指定 HTTP 端點的 URL:https://webhooks.mongodb-realm.com。該 URL 必須為 HTTPS URL。

    API 金鑰

    請聯絡 MongoDB 雲端,以取得啟用資料從 Amazon 資料快速傳遞到此端點所需的 API 金鑰。

    內容編碼

    Amazon Data Firehose 會使用內容編碼來壓縮請求本文,然後再將請求傳送到目的地。選擇 GZIP已停用以啟用/停用請求的內容編碼。

    Retry duration (重試持續時間)

    指定 Amazon 資料 Firehose 重試將資料傳送至所選第三方供應商的時間長度。

    傳送資料之後,Amazon 資料 Firehose 會先等待來自 HTTP 端點的確認。如果發生錯誤或確認未在確認逾時期間內送達,Amazon Data Firehose 會啟動重試持續時間計數器。直到重試持續時間過期之前,該服務都不會中斷重試作業。之後,亞馬遜數據 Firehose 將其視為數據交付失敗,並將數據備份到您的 Amazon S3 存儲桶。

    每次 Amazon Data Firehose 將資料傳送到 HTTP 端點 (無論是初始嘗試還是重試),都會重新啟動確認逾時計數器,並等待來自 HTTP 端點的確認。

    即使重試持續時間過期,Amazon Data Firehose 仍會等待確認,直到收到確認或已到達確認逾時期間為止。如果確認逾時,Amazon 資料 Firehose 會判斷重試計數器是否還有剩餘時間。如果還有時間,將再次重試並重複執行邏輯,直到收到確認或判斷已無重試時間為止。

    如果您不希望 Amazon 資料 Firehose 重試傳送資料,請將此值設定為 0。

    緩衝提示

    Amazon 資料 Firehose 會先緩衝傳入的資料,然後再將其傳送到指定的目的地。建議的目的地緩衝區大小因服務提供者而異。

    參數 - 選用

    Amazon 數據 Firehose 在每個 HTTP 調用中包含這些鍵值對。這些參數可協助您識別和整理目的地。

選擇 New Relic 作為目的地

本節會描述使用 New Relic 作為目的地的選項。如需詳細資訊,請參閱 https://newrelic.com

  • 為下列欄位提供值:

    HTTP 端點 URL

    從下拉式功能表的下列選項中選擇 HTTP 端點 URL:

    • New Relic 日誌 - US

    • New Relic 指標 - US

    • New Relic 指標 - EU

    API 金鑰

    輸入 New Relic One 帳戶設定中的授權金鑰 (40 個字元的十六進位字串)。必須使用此 API 金鑰才能從 Firehose 將資料傳送至此端點。

    內容編碼

    Amazon Data Firehose 會使用內容編碼來壓縮請求本文,然後再將請求傳送到目的地。選擇 GZIP已停用以啟用/停用請求的內容編碼。

    Retry duration (重試持續時間)

    指定 Amazon 資料 Firehose 重試將資料傳送到新遺物 HTTP 端點的時間長度。

    傳送資料之後,Amazon 資料 Firehose 會先等待來自 HTTP 端點的確認。如果發生錯誤或確認未在確認逾時期間內送達,Amazon Data Firehose 會啟動重試持續時間計數器。直到重試持續時間過期之前,該服務都不會中斷重試作業。之後,亞馬遜數據 Firehose 將其視為數據交付失敗,並將數據備份到您的 Amazon S3 存儲桶。

    每次 Amazon Data Firehose 將資料傳送到 HTTP 端點 (無論是初始嘗試還是重試),都會重新啟動確認逾時計數器,並等待來自 HTTP 端點的確認。

    即使重試持續時間過期,Amazon Data Firehose 仍會等待確認,直到收到確認或已到達確認逾時期間為止。如果確認逾時,Amazon 資料 Firehose 會判斷重試計數器是否還有剩餘時間。如果還有時間,將再次重試並重複執行邏輯,直到收到確認或判斷已無重試時間為止。

    如果您不希望 Amazon 資料 Firehose 重試傳送資料,請將此值設定為 0。

    參數 - 選用

    Amazon 數據 Firehose 在每個 HTTP 調用中包含這些鍵值對。這些參數可協助您識別和整理目的地。

    緩衝提示

    Amazon 資料 Firehose 會先緩衝傳入的資料,然後再將其傳送到指定的目的地。建議的目的地緩衝區大小因服務提供者而異。

選擇雪花作為您的目的地

本節說明在目的地使用雪花的選項。

注意

Firehose 與 Snowflake 整合已在美國東部 (維吉尼亞北部)、美國西部 (奧勒岡)、歐洲 (愛爾蘭)、美國東部 (俄亥俄)、亞太區域 (東京) 和歐洲 (法蘭克福) AWS 區域推出。

連線設定
  • 為下列欄位提供值:

    雪花帳戶網址

    指定雪花帳戶 URL。例如:xy12345.us-east-1.aws.snowflakecomputing.com。請參閱雪花文件,瞭解如何判斷您的帳戶 URL。請注意,您不能指定端口號,而協議(https://)是可選的。

    使用者登入

    指定要用於載入資料的雪花使用者。請確定使用者有權將資料插入 Snowflake 資料表。

    私有金鑰

    指定用於透過 Snowflake 驗證之 key pair 的使用者私密金鑰。請確定私密金鑰的格式為 PKCS8。請勿包含 PEM 頁首和頁尾做為私密金鑰的一部分。如果金鑰分割為多行,請移除換行符號。

    Passphrase (密碼短語)

    加密金鑰時,用來解密私密金鑰的密碼片語。如果私密金鑰未加密,請將此欄位保留空白。如需詳細資訊,請參閱使用金鑰配對驗證與金鑰輪換

    角色配置

    使用預設的雪花角色 — 如果選取此選項,Firehose 將不會將任何角色傳遞給「雪花」。預設角色會假設載入資料。請確定預設角色具有將資料插入 Snowflake 資料表的權限。

    使用自訂雪花角色 — 輸入 Firehose 將資料載入雪花表格時所要使用的非預設雪花角色。

    雪花連接

    選項為「私人」或「用」。

    私人 VPCE 識別碼 (選擇性)

    Firehose 的 VPCE ID 可以與雪花私密連接。ID 格式是相同的 .vpce. [區域] .vp--[ID]. 如需詳細資訊,請參閱雪AWS PrivateLink 花 (S)

    注意

    請確定您的雪花網路允許存取 Firehose。若要取得存取權,請聯絡 AWS Support 將 Firehose VPC 端點新增至允許清單,或考慮停用 Snowflake 叢集上的網路原則。

資料庫組態
  • 您必須指定下列設定,才能使用雪花作為 Firehose 傳送串流的目的地:

    • 雪花數據庫-雪花中的所有數據保持在數據庫中。

    • 雪花結構描述 — 每個資料庫都包含一或多個結構描述,這些結構描述是資料庫物件的邏輯群組,例如表格和視觀表

    • 雪花表-雪花中的所有數據都存儲在數據庫表中,邏輯結構為列和行的集合。

雪花表格的資料載入選項

  • 使用 JSON 鍵作為列名

  • 使用變體欄

    • 內容欄名稱 — 在表格中指定必須載入原始資料的欄名稱。

    • 中繼資料欄名稱 (選擇性) — 在表格中指定欄名稱,其中必須載入中繼資料資訊。

Retry duration (重試持續時間)

如果因為雪花服務問題而無法開啟頻道或傳送至雪花,Firehose 重試的時間持續時間 (0—7200 秒)。Firehose 會以指數輪詢重試,直到重試持續時間結束為止。如果您將重試持續時間設定為 0 (零) 秒,Firehose 不會在雪花故障時重試,並將資料路由到 Amazon S3 錯誤儲存貯體。

選擇 Splunk 做為目的地

本節說明使用 Splunk 做為目的地的選項。

注意

Firehose 會將資料傳送至使用 Classic Load Balancer 或 Application Load Balancer 載平衡器設定的 Splunk 叢集。

  • 為下列欄位提供值:

    Splunk cluster endpoint (Splunk 叢集端點)

    若要確定端點,請參閱 Splunk 文件中的設定 Amazon 資料 Firehose 以將資料傳送到 Splunk 平台

    Splunk endpoint type (Splunk 端點類型)

    在大多數情況下,請選擇Raw endpoint。選擇您是Event endpoint否使用 AWS Lambda 以依事件類型將資料傳送至不同索引來預先處理資料。如需要使用哪個端點的相關資訊,請參閱 Splunk 說明文件中的設定 Amazon 資料 Firehose 以將資料傳送到 Splunk 平台

    Authentication token (身分驗證字符)

    若要設定可從 Amazon 資料 Firehose 接收資料的 Splunk 端點,請參閱 Splunk 說明文件中的 Amazon 資料 Firehose Splunk 附加元件的安裝和組態概觀。當您為此 Firehose 串流設定端點時,請儲存從 Splunk 取得的權杖,並將其新增至此處。

    HEC acknowledgement timeout (HEC 確認訊息逾時)

    指定 Amazon 數據 Firehose 等待 Splunk 索引確認的時間長度。如果 Splunk 未在逾時到達前傳送通知,Amazon 資料 Firehose 會將其視為資料傳遞失敗。然後,Amazon 資料 Firehose 會根據您設定的重試持續時間值,將資料重試或備份到 Amazon S3 儲存貯體。

    Retry duration (重試持續時間)

    指定 Amazon 資料 Firehose 重試將資料傳送至 Splunk 的時間長度。

    發送數據後,Amazon 數據 Firehose 首先等待 Splunk 的確認。如果發生錯誤或確認未在確認逾時期間內送達,Amazon Data Firehose 會啟動重試持續時間計數器。直到重試持續時間過期之前,該服務都不會中斷重試作業。之後,亞馬遜數據 Firehose 將其視為數據交付失敗,並將數據備份到您的 Amazon S3 存儲桶。

    每次 Amazon 資料 Firehose 將資料傳送至 Splunk (無論是初始嘗試還是重試),都會重新啟動確認逾時計數器,並等待 Splunk 的確認。

    即使重試持續時間過期,Amazon Data Firehose 仍會等待確認,直到收到確認或已到達確認逾時期間為止。如果確認逾時,Amazon 資料 Firehose 會判斷重試計數器是否還有剩餘時間。如果還有時間,將再次重試並重複執行邏輯,直到收到確認或判斷已無重試時間為止。

    如果您不希望 Amazon 資料 Firehose 重試傳送資料,請將此值設定為 0。

選擇 Splunk Observability Cloud 作為您的目的地

本節會描述使用 Splunk Observability Cloud 作為目的地的選項。如需詳細資訊,請參閱 get-data-in /connect/aws/aws-apiconfig.html # connect-to-aws-using the-splunk-observability-cloud-API。https://docs.splunk.com/observability/en/gdi/

  • 為下列欄位提供值:

    雲端擷取端點 URL

    您可以在 Splunk 可觀測性主控台的設定檔 > 組織 > 即時資料擷取端點中找到 Splunk 可觀測性雲端的即時資料擷取 URL。

    存取記號

    從 Splunk 可觀測性主控台中的「設定」>「存取記號」中複製具有 INGEST 授權範圍的 Splunk 可觀測性存取記號

    內容編碼

    Amazon Data Firehose 會使用內容編碼來壓縮請求本文,然後再將請求傳送到目的地。選擇 GZIP已停用以啟用/停用請求的內容編碼。

    Retry duration (重試持續時間)

    指定 Amazon 資料 Firehose 重試將資料傳送到所選 HTTP 端點的時間長度。

    傳送資料之後,Amazon 資料 Firehose 會先等待來自 HTTP 端點的確認。如果發生錯誤或確認未在確認逾時期間內送達,Amazon Data Firehose 會啟動重試持續時間計數器。直到重試持續時間過期之前,該服務都不會中斷重試作業。之後,亞馬遜數據 Firehose 將其視為數據交付失敗,並將數據備份到您的 Amazon S3 存儲桶。

    每次 Amazon Data Firehose 將資料傳送到 HTTP 端點 (無論是初始嘗試還是重試),都會重新啟動確認逾時計數器,並等待來自 HTTP 端點的確認。

    即使重試持續時間過期,Amazon Data Firehose 仍會等待確認,直到收到確認或已到達確認逾時期間為止。如果確認逾時,Amazon 資料 Firehose 會判斷重試計數器是否還有剩餘時間。如果還有時間,將再次重試並重複執行邏輯,直到收到確認或判斷已無重試時間為止。

    如果您不希望 Amazon 資料 Firehose 重試傳送資料,請將此值設定為 0。

    參數 - 選用

    Amazon 數據 Firehose 在每個 HTTP 調用中包含這些鍵值對。這些參數可協助您識別和整理目的地。

    緩衝提示

    Amazon 資料 Firehose 會先緩衝傳入的資料,然後再將其傳送到指定的目的地。建議的目的地緩衝區大小因服務提供者而異。

選擇 Sumo Logic 作為目的地

本節會描述使用 Sumo Logic 作為目的地的選項。如需詳細資訊,請參閱 https://www.sumologic.com

  • 為下列欄位提供值:

    HTTP 端點 URL

    請使用下列格式指定 HTTP 端點的 URL:https://deployment name.sumologic.net/receiver/v1/kinesis/dataType/access token。該 URL 必須為 HTTPS URL。

    內容編碼

    Amazon Data Firehose 會使用內容編碼來壓縮請求本文,然後再將請求傳送到目的地。選擇 GZIP已停用以啟用/停用請求的內容編碼。

    Retry duration (重試持續時間)

    指定 Amazon 數據 Firehose 重試將數據發送到 Sumo 邏輯的時間長度。

    傳送資料之後,Amazon 資料 Firehose 會先等待來自 HTTP 端點的確認。如果發生錯誤或確認未在確認逾時期間內送達,Amazon Data Firehose 會啟動重試持續時間計數器。直到重試持續時間過期之前,該服務都不會中斷重試作業。之後,亞馬遜數據 Firehose 將其視為數據交付失敗,並將數據備份到您的 Amazon S3 存儲桶。

    每次 Amazon Data Firehose 將資料傳送到 HTTP 端點 (無論是初始嘗試還是重試),都會重新啟動確認逾時計數器,並等待來自 HTTP 端點的確認。

    即使重試持續時間過期,Amazon Data Firehose 仍會等待確認,直到收到確認或已到達確認逾時期間為止。如果確認逾時,Amazon 資料 Firehose 會判斷重試計數器是否還有剩餘時間。如果還有時間,將再次重試並重複執行邏輯,直到收到確認或判斷已無重試時間為止。

    如果您不希望 Amazon 資料 Firehose 重試傳送資料,請將此值設定為 0。

    參數 - 選用

    Amazon 數據 Firehose 在每個 HTTP 調用中包含這些鍵值對。這些參數可協助您識別和整理目的地。

    緩衝提示

    Amazon 資料 Firehose 會先緩衝傳入的資料,然後再將其傳送到指定的目的地。建議的 Elastic 目的地緩衝區大小因服務提供者而異。

選擇 Elastic 作為目的地

本節會描述使用 Elastic 作為目的地的選項。

  • 為下列欄位提供值:

    Elastic 端點 URL

    請使用下列格式指定 HTTP 端點的 URL:https://<cluster-id>.es.<region>.aws.elastic-cloud.com。該 URL 必須為 HTTPS URL。

    API 金鑰

    請聯絡彈性服務以取得啟用資料從 Amazon 資料快速傳遞至其服務所需的 API 金鑰。

    內容編碼

    Amazon Data Firehose 會使用內容編碼來壓縮請求本文,然後再將請求傳送到目的地。選擇 GZIP (預設選擇) 或已停用以啟用/停用請求的內容編碼。

    Retry duration (重試持續時間)

    指定 Amazon 數據 Firehose 重試將數據發送到彈性的時間長度。

    傳送資料之後,Amazon 資料 Firehose 會先等待來自 HTTP 端點的確認。如果發生錯誤或確認未在確認逾時期間內送達,Amazon Data Firehose 會啟動重試持續時間計數器。直到重試持續時間過期之前,該服務都不會中斷重試作業。之後,亞馬遜數據 Firehose 將其視為數據交付失敗,並將數據備份到您的 Amazon S3 存儲桶。

    每次 Amazon Data Firehose 將資料傳送到 HTTP 端點 (無論是初始嘗試還是重試),都會重新啟動確認逾時計數器,並等待來自 HTTP 端點的確認。

    即使重試持續時間過期,Amazon Data Firehose 仍會等待確認,直到收到確認或已到達確認逾時期間為止。如果確認逾時,Amazon 資料 Firehose 會判斷重試計數器是否還有剩餘時間。如果還有時間,將再次重試並重複執行邏輯,直到收到確認或判斷已無重試時間為止。

    如果您不希望 Amazon 資料 Firehose 重試傳送資料,請將此值設定為 0。

    參數 - 選用

    Amazon 數據 Firehose 在每個 HTTP 調用中包含這些鍵值對。這些參數可協助您識別和整理目的地。

    緩衝提示

    Amazon 資料 Firehose 會先緩衝傳入的資料,然後再將其傳送到指定的目的地。Elastic 目的地的建議緩衝區大小為 1 MiB。