本文属于机器翻译版本。若本译文内容与英语原文存在差异,则一律以英文原文为准。
教程:使用适用于 Apache Flink 的亚马逊托管服务分析实时股票数据
本教程的场景涉及将股票交易引入数据流中并编写对流执行计算的简单的适用于 Apache Flink 的亚马逊托管服务应用程序。您将学习如何向 Kinesis Data Streams 发送记录流,以及如何实现近乎实时地使用和处理记录的应用程序。
借助适用于 Apache Flink 的亚马逊托管服务,您可以使用 Java 或 Scala 来处理和分析流数据。该服务允许您针对流媒体源编写和运行 Java 或 Scala 代码,以执行时间序列分析、提供实时仪表板和创建实时指标。
您可以在 Apache Flink 托管服务中使用基于 Apache Flink
重要
在您创建两个数据流和一个应用程序后,您的账户会产生名义上的 Kinesis Data Streams 和 Apache Flink 托管服务使用费,因为它们不符合免费套餐的资格。 AWS 使用完此应用程序后,请删除您的 AWS 资源以停止产生费用。
代码不访问实际股票市场数据,而是模拟股票交易流。它通过使用随机股票交易生成器来实现这一点。如果您有权访问实时的股票交易流,则可能有兴趣从该流派生有用且及时的统计数据。例如,您可能希望执行滑动窗口分析,从而确定前 5 分钟内购买的最热门股票。或者,您可能希望在销售订单过大(即具有过多股份)时收到通知。可以扩展此系列代码以提供此类功能。
显示的示例使用美国西部(俄勒冈州)区域,但它们适用于支持 Apache Flink 托管服务的任何AWS 区域。
任务
完成练习的先决条件
要完成本指南中的步骤,您必须满足以下条件:
-
Java 开发套件
(JDK) 版本 8。将 JAVA_HOME
环境变量设置为指向您的JDK安装位置。 -
我们建议您使用开发环境(如 Eclipse Java Neon
或 IntelliJ Idea )来开发和编译您的应用程序。 -
Git 客户端
。如果尚未安装 Git 客户端,请安装它。 -
Apache Maven 编译器插件
。Maven 必须位于您的有效路径中。要测试您的 Apache Maven 安装,请输入以下内容: $ mvn -version
要开始,请转到步骤 1:设置 AWS 账户并创建管理员用户。