Tutorial: Analise dados do mercado de ações em tempo real usando o Managed Service for Apache Flink para aplicações Flink - Amazon Kinesis Data Streams
Pré-requisitos

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Tutorial: Analise dados do mercado de ações em tempo real usando o Managed Service for Apache Flink para aplicações Flink

O cenário deste tutorial envolve consumir negociações do mercado de ações em um fluxo de dados e criar uma aplicação simples do Amazon Managed Service for Apache Flink para realizar cálculos no fluxo. Você aprenderá a enviar um fluxo de registros para o Kinesis Data Streams e implementar uma aplicação que consome e processa os registros em tempo quase real.

Com uma aplicação Flink no Managed Service for Apache Flink, você pode usar Java ou Scala para processar e analisar dados de streaming. O serviço permite que você crie e execute código Java ou Scala em origens de streaming para fazer análises de séries temporais, além de alimentar painéis e criar métricas em tempo real.

Você pode criar aplicações Flink no Managed Service for Apache Flink usando bibliotecas de código aberto baseadas no Apache Flink. O Apache Flink é uma estrutura popular e um mecanismo para o processamento de fluxos de dados.

Importante

Depois de criar dois fluxos de dados e um aplicativo, sua conta incorre em cobranças nominais pelo Kinesis Data Streams e pelo Managed Service for Apache Flink porque eles não estão qualificados para o nível gratuito. AWS Quando você terminar de usar esse aplicativo, exclua seus AWS recursos para parar de incorrer em cobranças.

O código não acessa os dados reais da bolsa de valores, ele simula o stream de negociações de ações. Isso é feito com o uso de um gerador de negociações de ações aleatórias. Se tiver acesso a um streaming de negociações de ações em tempo real, você poderá se interessar em derivar estatísticas úteis e em tempo hábil desse streaming. Por exemplo, talvez convenha executar uma análise de janela deslizante na qual você determina a ação mais popular que foi adquirida nos últimos 5 minutos. Ou talvez convenha uma notificação sempre que uma ordem de venda for muito grande (ou seja, tenha muitas quotas). Você pode estender o código nesta série para oferecer essa funcionalidade.

Os exemplos mostrados usam a região Oeste dos EUA (Oregon), mas funcionam em qualquer região da AWS que oferece suporte ao Managed Service for Apache Flink.

Tarefas

Pré-requisitos para concluir os exercícios

Para concluir as etapas neste guia, você deve ter o seguinte:

  • Java Development Kit (JDK) versão 8. Defina a variável do ambienteJAVA_HOME para apontar para o local de instalação do JDK.

  • Recomendamos que você use um ambiente de desenvolvimento (como Eclipse Java Neon ou IntelliJ Idea) para desenvolver e compilar seu aplicativo.

  • Cliente do Git. Instale o cliente do Git se você ainda não tiver feito isso.

  • Apache Maven Compiler Plugin. Maven deve estar em seu caminho de trabalho. Para testar a instalação do Apache Maven, insira o seguinte:

    $ mvn -version

Para começar a usar, vá até Etapa 1: configurar uma AWS conta e criar um usuário administrador.