Tutorial: Analise dados de estoque em tempo real usando o Kinesis Data Analytics para aplicativos Flink - Amazon Kinesis Data Streams

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Tutorial: Analise dados de estoque em tempo real usando o Kinesis Data Analytics para aplicativos Flink

O cenário deste tutorial envolve a ingestão de negociações de ações em um fluxo de dados e a criação de um aplicativo simples do Amazon Kinesis Data Analytics que realiza cálculos no stream. Você aprenderá como enviar um fluxo de registros para o Kinesis Data Streams e implementar um aplicativo que consome e processa os registros quase em tempo real.

Com o Amazon Kinesis Data Analytics for Flink Data Analytics for Flink, você pode usar o Java ou o Scala para processar e analisar dados de transmissão. O serviço permite que você crie e execute código Java ou Scala em fontes de streaming para realizar análises de séries temporais, alimentar painéis em tempo real e criar métricas em tempo real.

Você pode criar aplicativos Flink no Kinesis Data Analytics usando bibliotecas de código aberto baseadas no Apache Flink. O Apache Flink é uma estrutura popular e um mecanismo para o processamento de fluxos de dados.

Importante

Depois de criar dois fluxos de dados e um aplicativo, sua conta incorre em cobranças nominais pelo uso do Kinesis Data Streams e do Kinesis Data Analytics porque eles não estão qualificados para o nívelAWS gratuito. Quando terminar de usar esse aplicativo, exclua seusAWS recursos para não incorrer em cobranças.

O código não acessa os dados reais da bolsa de valores, ele simula o stream de negociações de ações. Isso é feito com o uso de um gerador de negociações de ações aleatórias. Se tiver acesso a um streaming de negociações de ações em tempo real, você poderá se interessar em derivar estatísticas úteis e em tempo hábil desse streaming. Por exemplo, talvez convenha executar uma análise de janela deslizante na qual você determina a ação mais popular que foi adquirida nos últimos 5 minutos. Ou talvez convenha uma notificação sempre que uma ordem de venda for muito grande (ou seja, tenha muitas quotas). Você pode estender o código nesta série para oferecer essa funcionalidade.

Os exemplos mostrados usam a região Oeste dos EUA (Oregon), mas funcionam em qualquer uma das AWSregiões que oferecem suporte ao Kinesis Data Analytics.

Pré-requisitos para concluir os exercícios

Para concluir as etapas neste guia, você deve ter o seguinte:

  • Java Development Kit (JDK) versão 8. Defina a variável do ambienteJAVA_HOME para apontar para o local de instalação do JDK.

  • Recomendamos que você use um ambiente de desenvolvimento (como Eclipse Java Neon ou IntelliJ Idea) para desenvolver e compilar seu aplicativo.

  • Cliente do Git. Instale o cliente do Git se você ainda não tiver feito isso.

  • Apache Maven Compiler Plugin. Maven deve estar em seu caminho de trabalho. Para testar a instalação do Apache Maven, insira o seguinte:

    $ mvn -version

Para começar a usar, vá até Etapa 1: Configurar uma conta da AWS e criar um usuário administrador.