什麼是 Amazon Kinesis Agent,適用於微軟視窗? - Microsoft Windows 的 Amazon Kinesis Kinesis 代理程式

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

什麼是 Amazon Kinesis Agent,適用於微軟視窗?

Amazon Kinesis Agent (適用於 Windows 的 Kinesis Agent) 是可設定且可延伸的代理程式。它會在 Windows 桌面平台電腦和伺服器的叢集上執行 (現場部署或 AWS 雲端內)。適用於 Windows 的 Kinesis Agent 可以有效率且可靠地收集、剖析、轉換及將日誌、事件和指標串流至各種 AWS 服務,包含Kinesis Data StreamsKinesis Data FirehoseAmazon CloudWatch,以及CloudWatch Logs

從這些服務,您接著便可以使用各種其他 AWS 服務存放、分析及視覺化資料,包含以下項目:

下圖說明簡易的 Windows 專用 Kinesis Agent 組態,可將日誌檔案串流至 Kinesis Data Streams。

說明 Kinesis 代理程式適用於 Windows 串流記錄檔至 Kinesis Data Streams 的資料流程圖。

如需來源、管道和接收的詳細資訊,請參閱微軟視窗概念的 Amazon Kinesis Kinesis 代理程式

下圖說明您可以使用串流處理框架建置自訂、即時資料管道的一些方式。這些架構包括 Kinesis Data Analytics、Amazon EMR 上的 Apache 星火,以及 AWS Lambda。

顯示資料互動的圖表,其中使用了包含 Kinesis Data Analytics、Spark on EMR、EC2 及 Lambda 等串流處理代理程式。

關於 AWS

Amazon Web Services (AWS) 集合了各項數位基礎設施服務,讓您在開發應用程式時加以利用。服務包含了運算、儲存、資料庫、分析及應用程式同步 (簡訊和佇列)。AWS 採按用量付費的服務模式。您只需為您 (或您應用程式) 使用的服務付費。此外,為了讓服務在原型設計和實驗上更親近易用,AWS 也提供了免費用量方案。在此方案中,特定用量層級以下的服務皆為免費。如需 AWS 成本和免費方案,請參閱資源中心入門。若要建立 AWS 帳戶,請開啟 AWS 首頁並註冊。

使用適用於 Windows 的 Kinesis Agent 可進行什麼作業?

Windows 專用 Kinesis Agent 提供下列功能:

表示記錄日誌的圖示
收集日誌、事件及指標資料

適用於 Windows 的 Kinesis Agent 會收集、剖析、轉換及從伺服器叢集和桌面平台,將日誌、事件和指標串流至一或多個 AWS 服務。服務接收到的承載可能會和原始來源的格式有所不同。例如,日誌可能會以特定的文字格式 (例如 syslog 格式) 存放在伺服器上。適用於 Windows 的 Kinesis Agent 可收集和剖析該文字,並選擇性地將它轉換成如 JSON 等格式,再串流至 AWS。這會輔助某些使用 JSON 的 AWS 服務,使其能更輕易地進行處理。串流至 Kinesis Data Streams 可由 Kinesis Data Analytics 持續處理,以產生額外的指標和彙整指標,提供給即時儀表板使用。您可以使用各種 AWS 服務 (例如 Amazon S3) 存放資料,取決於資料在資料管道下游使用的方式。

表示服務端點的圖示
與 AWS 服務整合

您可以設定 Windows 專用 Kinesis Agent,將日誌檔案、事件和指標傳送至數個不同的 AWS 服務:

  • Kinesis Data Firehose— 輕鬆地將串流的資料存放在 Amazon S3、Amazon Redshift、Amazon ES 或Splunk以進一步分析。

  • Kinesis Data Streams— 使用裝載於 Kinesis Data Analytics 中的自訂應用程式或Amazon EMR。或者使用運行在Amazon EC2執行個體,或在中執行的自訂無伺服器函數AWS Lambda

  • CloudWatch— 以圖形檢視串流的度量,您可以將其合併到儀表板中。然後設定違反預先設定閾值時,由指標值觸發的 CloudWatch 警示。

  • CloudWatch Logs— 儲存串流的日誌和事件,並在 AWS 管理主控台中檢視和搜尋這些日誌和事件,或在資料管道中進一步處理這些日誌和事件。

表示易於使用的圖示
快速安裝及設定

您只需要幾個步驟,便可安裝及設定 Windows 專用 Kinesis Agent。如需更多詳細資訊,請參閱 安裝適用於視窗的 Kinesis 代理程式設定適用於微軟視窗的 Amazon Kinesis。簡易的宣告式組態檔案會指定以下項目:

  • 來源以及要收集的日誌、事件及指標格式。

  • 要套用至所收集資料的轉換。其他資料可以包含和現有的資料轉換和篩選。

  • 串流最終資料的目標,以及串流承載的緩衝、分片及格式。

Windows 專用 Kinesis Agent 隨附內建的剖析器,可用於常見 Microsoft 企業服務所產生的日誌檔案,例如:

  • Microsoft Exchange

  • SharePoint

  • Active Directory 網域控制站

  • DHCP 伺服器

表示易於操作的圖示
無須全程管理

Windows 專用 Kinesis Agent 會自動因應各種狀況,而不會遺失任何資料。這包含日誌輪換、重新開機後進行復原,以及暫時性的網路或服務中斷。您可以設定 Windows 適用的 Kinesis Agent,自動更新至新的版本。在這些狀況中皆不需要任何操作員的介入。

表示可延伸架構的圖示
使用開放架構延伸

若宣告式的功能和內建外掛程式不足以用於監控伺服器或桌面平台系統,您可以透過建立外掛程式,延伸適用於 Windows 的 Kinesis Agent。新的外掛程式可啟用日誌、事件及指標的新來源及目標。適用於 Windows 的 Kinesis Agent 的來源碼可在https://github.com/awslabs/kinesis-agent-windows

Benefits

Windows 版 Kinesis Agent 會為資料管道執行日誌、事件和指標的初始資料收集、轉換及串流。建置這些資料管道有許多好處:

表示資料視覺化的圖示
分析與視覺化

Windows 專用 Kinesis Agent 與 Kinesis Data Firehose 的整合及其轉換功能,讓與數種不同分析和視覺化服務的整合過程更為容易。

  • Amazon QuickSight— 可從許多不同來源擷取的雲端式 BI 服務。適用於視窗的 Kinesis 代理程式可以轉換資料,並透過 Kinesis Data Firehose 串流到 Amazon S3 和 Amazon 紅移。此程序可使用 Amazon QuickSight 視覺化,從資料探索更深入的詳情。

  • Athena— 啟用以 SQL 為基礎的資料查詢的互動式查詢服務。適用於視窗的 Kinesis 代理程式可以透過 Kinesis 資料防火軟管將資料轉換並串流至 Amazon S3。然後,Athena 可以以互動方式對該資料執行 SQL 查詢,以快速檢查和分析記錄和事件。

  • Kibana— 開放原始碼資料視覺化工具。適用於視窗的 Kinesis 代理程式可以透過 Kinesis 資料防火軟管將資料轉換並串流至 Amazon ES。您接著便可以使用 Kibana 來探索該資料。建立並開啟不同的視覺化,包含直方圖、線條圖、圓形圖、熱圖及地理空間圖形。

表示安全案例的圖示
Security

包含 Windows 版 Kinesis Agent 的日誌和事件資料分析管道可偵測及對組織中的安全違規作出提醒,協助您封鎖或攔截攻擊。

表示效能的圖示
應用程式效能

Windows 專用 Kinesis Agent 可收集應用程式或服務效能的日誌、事件和指標資料。完整資料管道接著便可分析此資料。此分析可透過偵測及報告在其他情況下可能不明顯的缺失,協助您改善應用程式和服務的效能及可靠性。例如,您可以偵測服務 API 呼叫執行時間的大幅度變更。當和部署相互關聯時,此功能可協助您尋找和解決您所擁有服務新的效能問題。

表示服務的圖示
服務操作

資料管道可分析所收集的資料,預測潛在的操作問題,並提供如何避免服務中斷的詳情。例如,您可以分析日誌、事件及指標來判斷目前和預測的容量用量,並在服務使用者受到影響前使額外的容量上線。若發生服務中斷,您可以分析資料來判斷中斷期間對客戶造成的影響。

表示服務稽核的圖示
Auditing

資料管道可處理 Windows 適用 Kinesis Agent 收集和轉換的日誌、事件和指標。您接著便可以使用各種 AWS 服務稽核這項處理後的資料。例如,Kinesis Data Firehose 可從 Windows 專用 Kinesis Agent 接收資料串流,將資料存放在 Amazon S3 中。您接著便可以使用 Athena 執行互動式的 SQL 查詢,稽核這項資料。

表示存檔資料的圖示
Archiving

通常最重要的操作資料便是最近收集的資料。但是,分析在數年間針對應用程式和服務收集的資料也很有用 (例如用於長範圍規劃)。保留大量資料可能會很昂貴。適用於 Windows 的 Kinesis 代理程式可以透過 Kinesis 資料防火軟管收集、轉換和儲存 Amazon S3 中的資料。因此,Amazon S3 Glacier可用於減少存檔較舊資料的成本。

表示服務提醒的圖示
Alerting

適用於視窗串流的測量指標至 CloudWatch 控。您接著便可以建立 CloudWatch 警示,透過Amazon Simple Notification Service (Amazon SNS)當測量結果一致違反特定臨界值時。這可讓工程師更進一步地感知其應用程式和服務的操作問題。

開始使用適用於視窗的 Kinesis 代理程式

若要進一步了解 Windows 適用的 Kinesis Agent,建議您從下列章節開始著手: