Introdução ao Amazon Managed Service para Apache Flink (DataStreamAPI)

Esta seção apresenta os conceitos fundamentais do Managed Service for Apache Flink e da API. DataStream Ela descreve as opções disponíveis para criar e testar seus aplicativos. Ela também fornece instruções para instalar as ferramentas necessárias para concluir os tutoriais deste guia e criar seu primeiro aplicativo.

Tópicos

• Analise os componentes do aplicativo Managed Service for Apache Flink
• Cumpra os pré-requisitos para concluir os exercícios
• Etapa 1: configurar uma AWS conta e criar um usuário administrador
• Etapa 2: configurar o AWS Command Line Interface (AWS CLI)
• Etapa 3: criar e executar um serviço gerenciado para o aplicativo Apache Flink
• Etapa 4: limpar AWS os recursos
• Etapa 5: use os recursos para concluir as próximas etapas

Analise os componentes do aplicativo Managed Service for Apache Flink

Para processar dados, seu aplicativo Managed Service for Apache Flink usa um aplicativo Java/Apache Maven ou Scala que processa a entrada e produz a saída usando o runtime do Apache Flink.

O Managed Service for Apache Flink tem os seguintes componentes:

• Propriedades de runtime: você pode usar as propriedades de runtime para configurar seu aplicativo sem recompilar o código do aplicativo.

• Fonte: o aplicativo consome dados usando uma fonte. Um conector de origem lê dados de um fluxo de dados do Kinesis, de um bucket do Amazon S3 etc. Para ter mais informações, consulte Origens.

• Operadores: o aplicativo processa dados usando um ou mais operadores. Um operador pode transformar, enriquecer ou agregar dados. Para ter mais informações, consulte DataStream Operadores de API.

• Coletor: o aplicativo produz dados para fontes externas usando coletores. Um conector de coletor grava dados em um stream de dados do Kinesis, em um stream do Firehose, em um bucket do Amazon S3 etc. Para ter mais informações, consulte Coletores.

Depois de criar, compilar e empacotar o código da aplicativo, é necessário fazer o upload do pacote do código em um bucket do Amazon Simple Storage Service (Amazon S3). Em seguida, crie um aplicativo do Managed Service for Apache Flink. Você passa na localização do pacote de código, um fluxo de dados do Kinesis como fonte de dados de fluxo e, normalmente, um local de fluxo ou arquivo que recebe os dados processados do aplicativo.

Cumpra os pré-requisitos para concluir os exercícios

Para concluir as etapas neste guia, você deve ter o seguinte:

• Java Development Kit (JDK) versão 11. Defina a variável do ambienteJAVA_HOME para apontar para o local de instalação do JDK.

• Recomendamos que você use um ambiente de desenvolvimento (como Eclipse Java Neon ou IntelliJ Idea) para desenvolver e compilar seu aplicativo.

• Cliente do Git. Instale o cliente do Git se você ainda não tiver feito isso.

• Apache Maven Compiler Plugin. Maven deve estar em seu caminho de trabalho. Para testar a instalação do Apache Maven, insira o seguinte:

  $ mvn -version

Para começar a usar, vá até Etapa 1: configurar uma AWS conta e criar um usuário administrador.