자습서: Flink 애플리케이션용 Managed Service for Apache Flink를 사용하여 실시간 주식 데이터 분석

이 자습서의 시나리오에서는 스트림에 주식 거래를 가져와 데이터 스트림에 대한 계산을 수행하는 간단한 Amazon Managed Service for Apache Flink 애플리케이션을 작성합니다. 레코드의 스트림을 Kinesis Data Streams에 전송하고, 거의 실시간으로 레코드를 사용하고 처리하는 애플리케이션을 구현하는 방법에 대해 알아봅니다.

Flink 애플리케이션용 Managed Service for Apache Flink를 사용하면 Java 또는 Scala로 스트리밍 데이터를 처리하고 분석할 수 있습니다. 이 서비스를 사용하면 스트리밍 소스에 대해 Java 또는 Scala 코드를 작성하고 실행하여 시계열 분석을 수행하고, 실시간 대시보드를 공급하고, 실시간 지표를 생성할 수 있습니다.

Apache Flink 기반 오픈 소스 라이브러리를 사용하여 Managed Service for Apache Flink에서 Flink 애플리케이션을 구축할 수 있습니다. Apache Flink는 데이터 스트림을 처리하기 위한 인기 있는 프레임워크 및 엔진입니다.

중요

Kinesis Data Streams 및 Managed Service for Apache Flink는 AWS 프리 티어에서 제공되지 않으므로 2개의 데이터 스트림과 애플리케이션을 생성한 후에는 사용에 대한 일반 요금이 계정에 부과됩니다. 이 애플리케이션을 완료하면 AWS 리소스를 삭제하여 요금 발생을 중지하세요.

이 코드는 실제 주식 시장 데이터에는 액세스하지 않지만, 대신 주식 거래의 스트림을 시뮬레이션합니다. 이 작업은 임의의 주식 거래 생성기를 통해 수행됩니다. 주식 거래의 실시간 스트림에 액세스할 수 있는 경우 스트림에서 유용하고 시기 적절한 통계를 추출하고 싶을 때도 있습니다. 예를 들어, 마지막 5분 이내에 구매한 가장 인기 있는 주식을 결정하는 슬라이딩 윈도우 분석을 수행하려고 할 수 있습니다. 또는 너무 많은 판매 주문(즉, 너무 많은 공유)이 있을 때마다 알림을 원할 수도 있습니다. 이 시리즈의 코드를 확장하여 이러한 기능을 제공할 수 있습니다.

표시된 예제는 미국 서부(오레곤) 리전을 사용하지만 이 예제는 Managed Service for Apache Flink를 지원하는 모든 AWS 리전에 적용됩니다.

Tasks

• 연습 완료를 위한 필수 조건
• 1단계: AWS 계정 설정 및 관리자 사용자 생성하기
• 2단계: AWS Command Line Interface(AWS CLI) 설정
• 3단계: Flink 애플리케이션용 Managed Service for Apache Flink 생성 및 실행

연습 완료를 위한 필수 조건

이 가이드의 단계를 완료하려면 다음이 필요합니다.

• Java Development Kit(JDK) 버전 8. JAVA_HOME 환경 변수가 JDK 설치 위치를 가리키도록 설정합니다.

• 애플리케이션을 개발하고 컴파일하려면 개발 환경(예: Eclipse Java Neon 또는 IntelliJ Idea)을 사용하는 것이 좋습니다.

• Git 클라이언트. 아직 설치하지 않았다면 Git 클라이언트를 설치합니다.

• Apache Maven 컴파일러 플러그인. Maven이 해당 작업 경로에 있어야 합니다. Apache Maven 설치를 테스트하려면 다음을 입력하십시오.

  $ mvn -version

시작하려면 1단계: AWS 계정 설정 및 관리자 사용자 생성하기 섹션으로 이동하십시오.