Comece a usar o Amazon Managed Service para Apache Flink (DataStream API) - Managed Service for Apache Flink
Analise os componentes do aplicativoConclua os pré-requisitos exigidos

Anteriormente, o Amazon Managed Service for Apache Flink (Amazon MSF) era conhecido como Amazon Kinesis Data Analytics for Apache Flink.

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Comece a usar o Amazon Managed Service para Apache Flink (DataStream API)

Esta seção apresenta os conceitos fundamentais do Managed Service for Apache Flink e a implementação de um aplicativo em Java usando a API. DataStream Ela descreve as opções disponíveis para criar e testar seus aplicativos. Ela também fornece instruções para instalar as ferramentas necessárias para concluir os tutoriais deste guia e criar seu primeiro aplicativo.

Tópicos

Analise os componentes do aplicativo do Managed Service for Apache Flink

nota

O Amazon Managed Service para Apache Flink oferece suporte a todo o Apache Flink APIs e, potencialmente, a todas as linguagens da JVM. Para obter mais informações, consulte Flink's APIs.

Dependendo da API selecionada, a estrutura do aplicativo e a implementação são um pouco diferentes. Este tutorial de introdução aborda a implementação dos aplicativos usando a DataStream API em Java.

Para processar dados, seu aplicativo do Managed Service for Apache Flink usa um aplicativo Java que processa a entrada e produz a saída usando o runtime do Apache Flink.

Um aplicativo típico do Managed Service for Apache Flink tem os seguintes componentes:

  • Propriedades de runtime: você pode usar propriedades de runtime para passar parâmetros de configuração para seu aplicativo e alterá-los sem modificar e republicar o código.

  • Fontes: o aplicativo consome dados de uma ou mais fontes. Uma fonte usa um conector para ler dados de um sistema externo, como um fluxo de dados do Kinesis ou um bucket do Kafka. Para obter mais informações, consulte Adicione fontes de dados de transmissão.

  • Operadores: o aplicativo processa dados usando um ou mais operadores. Um operador pode transformar, enriquecer ou agregar dados. Para obter mais informações, consulte Operadores.

  • Coletores: o aplicativo envia dados para fontes externas por meio de coletores. Um coletor usa um conector para enviar dados para um fluxo de dados do Kinesis, um tópico do Kafka, Amazon S3 ou um banco de dados relacional. Também é possível usar um conector especial para imprimir a saída somente para fins de desenvolvimento. Para obter mais informações, consulte Grave dados usando coletores .

O aplicativo requer algumas dependências externas, como os conectores Flink que seu aplicativo usa ou, potencialmente, uma biblioteca Java. Para ser executado no Amazon Managed Service for Apache Flink, o aplicativo deve ser empacotado junto com as dependências em um arquivo fat-jar e carregado em um bucket do Amazon S3. Em seguida, crie um aplicativo do Managed Service for Apache Flink. Você passa a localização do pacote de código, junto com qualquer outro parâmetro de configuração de runtime.

Este tutorial demonstra como usar o Apache Maven para empacotar o aplicativo e como executá-lo localmente no IDE de sua escolha.

Atenda os pré-requisitos para concluir os exercícios

Para concluir as etapas neste guia, é necessário ter o seguinte:

  • Cliente do Git. Instale o cliente do Git, se isso ainda não o fez.

  • Java Development Kit (JDK) versão 11. Instale o Java JDK 11 e defina a variável de ambiente JAVA_HOME para apontar o local da instalação do seu JDK. Se você não tiver um JDK 11, pode usar o Amazon Coretto 11 ou qualquer outro JDK padrão de sua escolha.

    • Para verificar se o JDK está instalado corretamente, execute o seguinte comando. A saída será diferente se estiver usando um JDK diferente do Amazon Corretto. Verifique se a versão é a 11.x.

      $ java --version

openjdk 11.0.23 2024-04-16 LTS
OpenJDK Runtime Environment Corretto-11.0.23.9.1 (build 11.0.23+9-LTS)
OpenJDK 64-Bit Server VM Corretto-11.0.23.9.1 (build 11.0.23+9-LTS, mixed mode)

  • Apache Maven. Instale o Apache Maven, caso ainda não tenha instalado. Para saber como instalar, consulte Instalando o Apache Maven.

    • Para testar a instalação do Apache Maven, insira o seguinte:

    $ mvn -version

  • IDE para desenvolvimento local. Recomenda-se o uso de um ambiente de desenvolvimento como o Eclipse Java Neon ou o IntelliJ Idea para desenvolver e compilar seu aplicativo.

    • Para testar a instalação do Apache Maven, insira o seguinte:

    $ mvn -version

Para começar a usar, acesse Configurar uma AWS conta e criar um usuário administrador.