微軟視窗概念的 Amazon Kinesis Kinesis 代理程式 - Microsoft Windows 的 Amazon Kinesis Kinesis 代理程式

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

微軟視窗概念的 Amazon Kinesis Kinesis 代理程式

了解 Amazon Kinesis 代理程式 (Windows 專用 Kinesis 代理程式) 的關鍵概念,可讓您在收集和串流桌面平台和伺服器叢集上資料至資料管道剩餘部分進行處理的過程更為容易。

圖表,說明 Windows 來源、管道和接收的 Kinesis 代理程式,以及它們彼此相關,以及和成品和 AWS 服務相關的方式。

此資料管道圖說明了下列元件和程序:

伺服器和桌面平台擁有像是日誌檔案、事件及指標等,由一或多個「Windows」的 Kinesis Agent」收集的成品sources。例如,資料可選擇性地從一般檔案的文字格式轉換成物件。

資料 (以物件型式或文字型式) 接著便可以流向一或多個「Windows」的 Kinesis 代理程式」管道。管道會將一個來源連線到一個「Kinesis 代理程式」sink。管道可選擇性地篩選不必要的資料。

接收可選擇地將剖析的資料轉換成物件、JSON 或 XML。接收會將資料傳送到特定 AWS 服務,例如 Kinesis Data Streams、Kinesis Data Firehose 或 Amazon CloudWatch。

使用多個管道,單一來源可將相同資料傳送到多個接收 (例如,請參閱圖中的管道 FG)。使用多個管道,不同來源可將資料串流至單一接收 (例如,請參閱圖中的管道 ABC)。您可以使用多個管道,將來自多個接收的資料串流至多個來源。來源、接收和管道都擁有類型,並且您可以擁有超過一個相同類型的來源、接收或管道。

如需宣告來源、接收及管道的組態檔案範例,請使用 適用於視窗設定範例的 Kinesis 代理程式

資料管道

AData Pipeline用於收集、處理、視覺化,以及可能產生應用程式和服務的警示。適用於 Windows 的 Kinesis Agent 會在一開始就適用於資料管線 — 記錄、事件和度量是從桌上型電腦或伺服器叢集收集。Windows 版 Kinesis 代理程式會將收集的資料串流至各種 AWS 服務,構成資料管道剩餘部分。資料管道具有一個目的,例如即時視覺化特定服務的運作狀況,協助工程師更有效地操作該服務。服務運作狀況資料管道可執行以下任何一項作業:

  • 在問題影響到服務客戶的體驗前,提醒工程師這些問題。

  • 透過顯示資源用量趨勢,協助工程師有效管理服務成本。這些趨勢可讓他們適當地調整資源層級,甚至是實作自動調整規模案例。

  • 提供服務客戶所報告問題根本原因的詳情。這可加速解決這些問題,減少支援成本。

如需使用 Windows 專用 Kinesis 代理程式建構資料管道的逐步範例,請參閱教學課程:使用適用於視窗的 Kinesis 代理程式將 JSON 日誌檔串流到 Amazon S3

Sources

適用於視窗 Kinesis 代理程式source會收集日誌、事件或指標。來源會根據來源的類型,從該資料的特定生產者收集特定資料類型。例如,DirectorySource 類型會從檔案系統中的特定目錄收集日誌檔案。若資料尚未結構化 (如某些類型的日誌檔案),來源在將文字表示剖析至某種結構化型式的過程中會很有用。每個來源對應於一個特定的來源宣告適用於視窗的啟 Kinesis 代理程式appsettings.json組態檔案。來源宣告可提供設定來源的基本詳細資訊,根據特定資料收集需求量身訂做來源。可設定的詳細資訊類型會因來源類型而有所不同。例如,DirectorySource 來源類型需要指定日誌檔案所在的目錄。

如需來源類型和來源宣告的詳細資訊,請參閱來源宣告

Sinks

適用於視窗 Kinesis 代理程式sink會接受 Kinesis 代理程式收集的資料,並將該資料串流至數種可能 AWS 服務中的其中一種,構成資料管道的剩餘部分。每個水槽對應於一個特定的接收宣告適用於視窗的啟 Kinesis 代理程式appsettings.json組態檔案。接收宣告可提供設定接收的基本詳細資訊,根據特定資料串流需求量身訂做接收。可設定的詳細資訊類型會因接收類型而有所不同。例如,某些接收類型允許接收宣告為提供給他們的資料指定特定的序列化 Format。在接收宣告中指定此選項時,所收集資料的序列化會在將資料串流至與接收相關聯的 AWS 服務前發生。

如需接收類型和接收宣告的詳細資訊,請參閱目的地宣告

Pipes

適用於視窗 Kinesis 代理程式管道會將適用於 Windows 來源的 Kinesis 代理程式輸出連線到適用於 Windows 接收的 Kinesis 代理程式輸入。它會選擇性地在資料於管道中流動時轉換資料。每個管道都對應到特定 Kinesis「管道宣告」appsettings.json組態檔案。管道宣告會提供設定接收的基本詳細資訊,例如管道的來源和接收。

如需管道類型和管道宣告的詳細資訊,請參閱管道宣告