As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Tutorial: Analise dados de estoque em tempo real usando o Kinesis Data Analytics para aplicativos Flink
O cenário deste tutorial envolve a ingestão de negociações de ações em um fluxo de dados e a criação de um aplicativo simples do Amazon Kinesis Data Analytics que realiza cálculos no stream. Você aprenderá como enviar um fluxo de registros para o Kinesis Data Streams e implementar um aplicativo que consome e processa os registros quase em tempo real.
Com o Amazon Kinesis Data Analytics for Flink Data Analytics for Flink, você pode usar o Java ou o Scala para processar e analisar dados de transmissão. O serviço permite que você crie e execute código Java ou Scala em fontes de streaming para realizar análises de séries temporais, alimentar painéis em tempo real e criar métricas em tempo real.
Você pode criar aplicativos Flink no Kinesis Data Analytics usando bibliotecas de código aberto baseadas no Apache Flink
Depois de criar dois fluxos de dados e um aplicativo, sua conta incorre em cobranças nominais pelo uso do Kinesis Data Streams e do Kinesis Data Analytics porque eles não estão qualificados para o nívelAWS gratuito. Quando terminar de usar esse aplicativo, exclua seusAWS recursos para não incorrer em cobranças.
O código não acessa os dados reais da bolsa de valores, ele simula o stream de negociações de ações. Isso é feito com o uso de um gerador de negociações de ações aleatórias. Se tiver acesso a um streaming de negociações de ações em tempo real, você poderá se interessar em derivar estatísticas úteis e em tempo hábil desse streaming. Por exemplo, talvez convenha executar uma análise de janela deslizante na qual você determina a ação mais popular que foi adquirida nos últimos 5 minutos. Ou talvez convenha uma notificação sempre que uma ordem de venda for muito grande (ou seja, tenha muitas quotas). Você pode estender o código nesta série para oferecer essa funcionalidade.
Os exemplos mostrados usam a região Oeste dos EUA (Oregon), mas funcionam em qualquer uma das AWSregiões que oferecem suporte ao Kinesis Data Analytics.
Tarefas
Pré-requisitos para concluir os exercícios
Para concluir as etapas neste guia, você deve ter o seguinte:
-
Java Development Kit
(JDK) versão 8. Defina a variável do ambiente JAVA_HOMEpara apontar para o local de instalação do JDK. -
Recomendamos que você use um ambiente de desenvolvimento (como Eclipse Java Neon
ou IntelliJ Idea ) para desenvolver e compilar seu aplicativo. -
Cliente do Git.
Instale o cliente do Git se você ainda não tiver feito isso. -
Apache Maven Compiler Plugin
. Maven deve estar em seu caminho de trabalho. Para testar a instalação do Apache Maven, insira o seguinte: $ mvn -version
Para começar a usar, vá até Etapa 1: Configurar uma conta da AWS e criar um usuário administrador.
