疑難排解 Splunk - Amazon 數據 Firehose

Amazon 數據 Firehose 以前被稱為 Amazon Kinesis Data Firehose

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

疑難排解 Splunk

如果資料未傳送至您的 Splunk 終端節點,請確認以下步驟。

  • 如果您的 Splunk 平台位於 VPC 中,請確定 Firehose 可以存取它。如需詳細資訊,請參閱存取 VPC 內的 Splunk

  • 如果您使用 AWS 負載平衡器,請確定它是「Classic Load Balancer」或「Application Load Balancer」。此外,啟用以持續時間為基礎的黏性工作階段,且針對 Classic Load Balancer 停用 Cookie 到期,且 Application Load Balancer 的到期時間上限 (7 天)。如需如何執行此作業的詳細資訊,請參閱 C lassic Load Balancer 或 Application Load Balancer 載平衡器的持續時間型工作階段黏著性。

  • 檢閱 Splunk 平台的要求。Firehose 的 Splunk 附加元件需要 Splunk 平台 6.X 版或更新版本。如需詳細資訊,請參閱 Amazon Kinesis Firehose 的 Splunk 附加元件

  • 如果 Firehose 和 HTTP 事件收集器 (HEC) 節點之間有代理伺服器 (Elastic Load Balancing 或其他),請啟用黏性工作階段以支援 HEC 確認 (ACK)。

  • 確認您使用的是有效的 HEC 符記。

  • 確認 HEC 符記已啟用。請參閱啟用和停用事件收集器符記

  • 檢查傳送到 Splunk 的資料是否正確格式化。如需詳細資訊,請參閱 HTTP 事件收集器格式化事件

  • 確認 HEC 符記和輸入事件已設定有效索引。

  • 如果上傳至 Splunk 失敗原因在於 HEC 節點伺服器錯誤,請求會自動重試。如果重試失敗,資料會備份到 Amazon S3。檢查您的資料是否出現在 Amazon S3,若有則表示重試失敗。

  • 確認您已在 HEC 符記上啟用 indexer 確認功能。如需詳細資訊,請參閱啟用 indexer 確認功能

  • 增加 Firehose 串流HECAcknowledgmentTimeoutInSeconds的 Splunk 目的地組態中的值。

  • RetryOptions在 Firehose 串流DurationInSeconds的 Splunk 目的地組態中增加下的值。

  • 檢查您的 HEC 運作狀態。

  • 若您正使用資料轉換功能,請確認 Lambda 函數的回應從未回傳大小超過 6 MB 的乘載。如需詳細資訊,請參閱 Amazon 資料 FirehoseData 轉換

  • 請確認名為 ackIdleCleanup 的 Splunk 參數已設定為 true。預設為 false。欲將此參數設定為 true,請執行下列動作:

    • 受管 Splunk 雲端部署而言,請提交使用 Splunk 支援入口網站的案例。此時,請尋求 Splunk 協助啟用 HTTP 事件收集器、將 inputs.conf 內的 ackIdleCleanup 設定為 true,並建立或修改負載平衡器以使用此附加元件。

    • 分散式 Splunk Enterprise 部署而言,請在 inputs.conf 檔案中將 ackIdleCleanup 參數設定為 true。若是 *nix 使用者,這個檔案位於 $SPLUNK_HOME/etc/apps/splunk_httpinput/local/ 底下。若是 Windows 使用者,此檔案位於 %SPLUNK_HOME%\etc\apps\splunk_httpinput\local\ 底下。

    • 單一執行個體 Splunk Enterprise 部署而言,請在 inputs.conf 檔案中將 ackIdleCleanup 參數設定為 true。若是 *nix 使用者,這個檔案位於 $SPLUNK_HOME/etc/apps/splunk_httpinput/local/ 底下。若是 Windows 使用者,此檔案位於 %SPLUNK_HOME%\etc\apps\splunk_httpinput\local\ 底下。

  • 請確定 Firehose 串流中指定的 IAM 角色可以存取 S3 備份儲存貯體和 Lambda 函數進行資料轉換 (如果已啟用資料轉換)。此外,請確定 IAM 角色可存取 CloudWatch 記錄群組和記錄串流,以檢查錯誤記錄。如需詳細資訊,請參閱授 FirehoseAccess 予 Splunk 目的地。

  • 請參閱 Amazon Kinesis Firehose 的 Splunk 附加元件故障診斷