什么是 Amazon Kinesis Analytics? - 适用于 Microsoft Windows 的 Amazon Kinesis 代理

本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。

什么是 Amazon Kinesis Analytics?

Amazon Kinesis Analytics (Windows Kinesis Analytics) 是一种可配置和可扩展的代理。它在 Windows 桌面计算机和服务器队列上运行,可以在本地或 AWS 云中运行。Windows Kinesis Agent 高效可靠地收集、解析、转换日志、事件和指标,并流式传输到各种 AWS 服务,包括Kinesis Data StreamsKinesis Data FirehoseAmazon CloudWatch, 和CloudWatch Logs (CloudWatch 日志)

通过这些服务,您可以使用各种其他 AWS 服务存储、分析和可视化数据,包括以下服务:

下图说明了 Windows Kinesis Agent 的简单配置,它将日志文件流式传输到 Kinesis Data Streams imple。

描述 Windows 将日志文件流传输到 Kinesis 数据流的 Kinesis 代理的数据流图。

有关源、管道和接收器的更多信息,请参阅 面向微软 Windows 概念的 Amazon Kinesis 代理

下图说明了使用流处理框架构建自定义实时数据管道的一些方法。这些框架包括 Kinesis Data Analytics、亚马逊 EMR 上的 Apache Spark 和 AWS Lambda。

显示数据与流处理代理(包括 Kinesis Data Analytics、EMR 上的 Spark、EC2 和 Lambda)的交互的示意图。

关于 AWS

Amazon Web Services (AWS) 是数字基础设施服务的集合,您可在开发应用程序时使用这些服务。这些服务包括计算、存储、数据库、分析和应用程序同步 (消息发送和队列)。AWS 采用即付即用的服务模式。您只需为使用的服务或您的应用程序使用的服务付费。此外,AWS 还提供免费使用套餐,以便使其服务更易于进行原型设计和试验。在此套餐中,低于某种使用水平的服务是免费的。有关 AWS 成本和免费套餐,请参阅开始使用资源中心。要创建 AWS 账户,请打开 AWS 主页并注册。

有什么用途与 Windows Kinesis Analytics?

Windows Kinesis Analytics 具有以下特性和功能:

表示日志记录的图标
收集日志、事件和指标数据

Windows Kinesis Agent 收集、解析、转换服务器和台式机队列的日志、事件和指标,并将其流式传输到一个或多个 AWS 服务。这些服务接收的负载可以采用与原始源不同的格式。例如,日志可能以特定的文本格式(例如 syslog 格式)存储在服务器上。Windows Kinesis Agent 可以收集和解析该文本,并可选择将其转换为 JSON 格式,例如,在流式传输到 AWS 之前进行转换。这有助于通过一些使用 JSON 的 AWS 服务进行更简单的处理。流式传输到 Kinesis Data Analytics 可以连续处理流式传输到 Kinesis Data Analytics,以生成其他指标和汇总指标,从而为实时控制面板提供支持。您可以使用各种 AWS 服务(例如 Amazon S3)存储数据,具体取决于数据在数据管道中的下游使用方式。

表示服务终端节点的图标
与 AWS 服务集成

您可以将 Windows Kinesis Agent 配置为将日志文件、事件和指标发送到多个不同的 AWS 服务:

  • Kinesis Data Firehose— 轻松将流式传输数据存储在 Amazon S3、Amazon Redshift、Amazon ES 或Splunk以便进一步分析。

  • Kinesis Data Streams— 使用 Kinesis Data Analytics 或Amazon EMR。或者使用运行在Amazon EC2实例或自定义无服务器函数在AWS Lambda

  • CloudWatch— 在图形中查看流式处理指标,您可以将其组合到控制面板中。然后,设置由超出预设阈值的指标值触发的 CloudWatch 警报。

  • CloudWatch Logs (CloudWatch 日志)— 存储流式处理日志和事件,并在 AWS 管理控制台中查看和搜索它们,或者在数据管道中进一步下游处理。

表示易用性的图标
快速安装和配置

您只需几个步骤即可安装和配置 Windows Kinesis Agent。有关更多信息,请参阅 安装适用于 Windows 的 Kinesis 代理为微软 Windows 配置 Amazon Kinesis 运行代理。一个简单的声明性配置文件指定以下内容:

  • 要收集的日志、事件和指标的来源和格式。

  • 要应用于收集的数据的转换。可以包括附加数据,并且可以转换和筛选现有数据。

  • 流式传输最终数据的目标,以及流式处理负载的缓冲、分片和格式。

Windows Kinesis Agent 为常见的 Microsoft 企业服务生成的日志文件提供内置解析程序,例如:

  • Microsoft Exchange

  • SharePoint

  • Active Directory 域控制器

  • DHCP 服务器

表示易于操作的图标
无需持续管理

Windows Kinesis Agent 自动适应各种情况而不会丢失任何数据。其中包括日志轮换、重启后恢复以及临时的网络或服务中断。您可以将 Windows Kinesis Agent 配置为自动更新到新版本。在上述任何情况下都不需要操作员干预。

表示可扩展架构的图标
使用开放架构进行扩展

如果声明性功能和内置插件不足以监控服务器或台式机系统,则可以通过创建插件来扩展 Windows Kinesis Agent。新插件为日志、事件和指标启用新的源和目标。适用于 Windows 的 Kinesis 代理程序的源代码可以在https://github.com/awslabs/kinesis-agent-windows

Benefits

Windows Kinesis Agent 为日志、事件和数据管道的指标执行初始数据收集、转换和流式处理。构建这些数据管道有许多优势:

表示数据可视化的图标
分析和可视化

Windows Kinesis Agent 与 Kinesis Data Firehose 及其转换功能使其易于与多种不同的分析和可视化服务集成:

  • Amazon QuickSight— 基于云的 BI 服务,可以从多个不同的源获取。Windows Kinesis 代理程序可以转换数据,并通过运动数 Kinesis Data Firehose 将其流式传输到 Amazon S3 和 Amazon Redshift。此过程可以使用 Amazon QuickSight 可视化从数据中发现深入的见解。

  • Athena— 启用基于 SQL 的数据查询的交互式查询服务。适用于 Windows 的 Kinesis 代理程序可以将数据转换和流式传输到 Amazon S3 通过 Kinesis Data Firehose。然后,Athena 可以交互式地对该数据执行 SQL 查询,以快速检查和分析日志和事件。

  • Kibana— 开源数据可视化工具。适用于 Windows 的 Kinesis 代理程序可以转换和流式传输数据到亚马逊 ES 通过 Kinesis Data Firehose。然后,您可以使用 Kibana 研究这些数据。创建和打开不同的可视化图形,包括直方图、折线图、饼图、热图和地理空间图形。

表示安全情况的图标
Security

包含 Kinesis Agent for Windows 的日志和事件数据分析管道可以检测和警报组织中的安全漏洞,从而帮助您阻止或停止攻击。

表示性能的图标
应用程序性能

Windows Kinesis Agent 可以收集有关应用程序或服务性能的日志、事件和指标数据。然后,完整数据管道可以分析这些数据。此分析通过检测和报告可能不明显的缺陷,帮助您提高应用程序和服务性能以及可靠性。例如,您可以检测服务 API 调用的执行时间的重大更改。与部署相关联时,此功能可帮助您找到并解决您拥有的服务的新性能问题。

表示服务的图标
服务操作

数据管道可以分析收集的数据,以预测潜在的操作问题,并提供如何避免服务中断的见解。例如,您可以分析日志、事件和指标,以确定当前和预计的容量使用情况,以便在服务用户受到影响之前在线提供额外容量。如果发生服务中断,您可以分析数据以确定在中断期间对客户的影响。

表示服务审核的图标
Auditing

数据管道可以处理 Windows Kinesis Agent 收集和转换的日志、事件和指标。然后,您可以使用各种 AWS 服务审核此处理的数据。例如,Kinesis Data Firehose 可以从 Windows Kinesis Agent 接收数据流,后者将数据存储在 Amazon S3 中。然后,您可以通过使用 Athena 执行交互式 SQL 查询来审核此数据。

表示已存档数据的图标
Archiving

通常,最重要的操作数据是最近收集的数据。但是,对多年来收集的有关应用程序和服务的数据进行分析也很有用,例如,用于长期规划。保存大量数据可能成本高昂。适用于 Windows 的 Kinesis 代理可以通过 Kinesis 数据消防软管收集、转换和存储在 Amazon S3 中的数据。因此,Amazon S3 Glacier可用于降低存档旧数据的成本。

表示服务提醒的图标
Alerting

适用于 Windows 的 Kinesis 代理程序将指标流式传输到 CloudWatch。反过来,您可以创建 CloudWatch 警报,以通过Amazon Simple Notification Service (Amazon SNS)当指标始终违反特定阈值时。这使工程师能够更好地了解其应用程序和服务的操作问题。

开始使用适用于 Windows 的 Kinesis 代理

要了解有关 Windows Kinesis Agent 的更多信息,我们建议您从以下部分入手: