Conceitos básicos do Amazon Managed Service for Apache Flink (API DataStream)

Esta seção apresenta os conceitos fundamentais do Managed Service for Apache Flink e como implementar um aplicativo em Java usando a API DataStream. Ela descreve as opções disponíveis para criar e testar seus aplicativos. Ela também fornece instruções para instalar as ferramentas necessárias para concluir os tutoriais deste guia e criar seu primeiro aplicativo.

Tópicos

• Analise os componentes do aplicativo do Managed Service for Apache Flink

• Atenda os pré-requisitos para concluir os exercícios

• Configure uma conta da AWS e crie um usuário administrador

• Configurar a AWS Command Line Interface (AWS CLI)

• Crie e execute um aplicativo Managed Service for Apache Flink

• Limpar recursos da AWS

• Explorar recursos adicionais

Analise os componentes do aplicativo do Managed Service for Apache Flink

nota

O Amazon Managed Service for Apache Flink suporta todas as APIs do Apache Flink e potencialmente todas as linguagens do JVM. Para saber mais, consulte APIs do Flink.

Dependendo da API selecionada, a estrutura do aplicativo e a implementação são um pouco diferentes. Este tutorial de introdução aborda a implementação dos aplicativos usando a API DataStream em Java.

Para processar dados, seu aplicativo do Managed Service for Apache Flink usa um aplicativo Java que processa a entrada e produz a saída usando o runtime do Apache Flink.

Um aplicativo típico do Managed Service for Apache Flink tem os seguintes componentes:

• Propriedades de runtime: você pode usar propriedades de runtime para passar parâmetros de configuração para seu aplicativo e alterá-los sem modificar e republicar o código.

• Fontes: o aplicativo consome dados de uma ou mais fontes. Uma fonte usa um conector para ler dados de um sistema externo, como um fluxo de dados do Kinesis ou um bucket do Kafka. Para obter mais informações, consulte Adicione fontes de dados de transmissão.

• Operadores: o aplicativo processa dados usando um ou mais operadores. Um operador pode transformar, enriquecer ou agregar dados. Para obter mais informações, consulte Operadores.

• Coletores: o aplicativo envia dados para fontes externas por meio de coletores. Um coletor usa um conector para enviar dados para um fluxo de dados do Kinesis, um tópico do Kafka, Amazon S3 ou um banco de dados relacional. Também é possível usar um conector especial para imprimir a saída somente para fins de desenvolvimento. Para obter mais informações, consulte Grave dados usando coletores .

O aplicativo requer algumas dependências externas, como os conectores Flink que seu aplicativo usa ou, potencialmente, uma biblioteca Java. Para ser executado no Amazon Managed Service for Apache Flink, o aplicativo deve ser empacotado junto com as dependências em um arquivo fat-jar e carregado em um bucket do Amazon S3. Em seguida, crie um aplicativo do Managed Service for Apache Flink. Você passa a localização do pacote de código, junto com qualquer outro parâmetro de configuração de runtime.

Este tutorial demonstra como usar o Apache Maven para empacotar o aplicativo e como executá-lo localmente no IDE de sua escolha.

Atenda os pré-requisitos para concluir os exercícios

Para concluir as etapas neste guia, é necessário ter o seguinte:

• Cliente do Git. Instale o cliente do Git, se isso ainda não o fez.

• Java Development Kit (JDK) versão 11 . Instale o Java JDK 11 e defina a variável de ambiente JAVA_HOME para apontar o local da instalação do seu JDK. Se você não tiver um JDK 11, pode usar o Amazon Coretto 11 ou qualquer outro JDK padrão de sua escolha.

  • Para verificar se o JDK está instalado corretamente, execute o seguinte comando. A saída será diferente se estiver usando um JDK diferente do Amazon Corretto. Verifique se a versão é a 11.x.

    $ java --version
    
    openjdk 11.0.23 2024-04-16 LTS
    OpenJDK Runtime Environment Corretto-11.0.23.9.1 (build 11.0.23+9-LTS)
    OpenJDK 64-Bit Server VM Corretto-11.0.23.9.1 (build 11.0.23+9-LTS, mixed mode)

• Apache Maven. Instale o Apache Maven, caso ainda não tenha instalado. Para saber como instalar, consulte Instalando o Apache Maven.

  • Para testar a instalação do Apache Maven, insira o seguinte:

  $ mvn -version

• IDE para desenvolvimento local. Recomenda-se o uso de um ambiente de desenvolvimento como o Eclipse Java Neon ou o IntelliJ Idea para desenvolver e compilar seu aplicativo.

  • Para testar a instalação do Apache Maven, insira o seguinte:

  $ mvn -version

Para começar a usar, vá até Configure uma conta da AWS e crie um usuário administrador.