Informações sobre a versão anterior do Managed Service for Apache Flink - Managed Service for Apache Flink

Anteriormente, o Amazon Managed Service for Apache Flink era conhecido como Amazon Kinesis Data Analytics for Apache Flink.

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Informações sobre a versão anterior do Managed Service for Apache Flink

Este tópico contém informações sobre como usar o Managed Service para Apache Flink com versões mais antigas do Apache Flink. As versões do Apache Flink compatíveis com o Managed Service for Apache Flink são 1.15.2 (recomendado), 1.13.2, 1.11.1, 1.8.2 e 1.6.2.

Recomendamos que você use a versão com suporte mais recente do Apache Flink com o seu aplicativo do Managed Service for Apache Flink. A versão 1.15.2 do Apache Flink tem os seguintes recursos:

  • Suporte para API de tabela e SQL do Apache Flink

  • Suporte para aplicativos Python.

  • Suporte para Java versão 11 e qualquer versão do Scala

  • Um modelo de memória aprimorado

  • Otimizações do RocksDB para maior estabilidade do aplicativo

  • Suporte para gerenciador de tarefas e rastreamentos de pilha no painel do Apache Flink.

Usar o conector de fluxos Kinesis para o Apache Flink com versões anteriores do Apache Flink

O conector de fluxos Kinesis para o Apache Flink não estava incluído no Apache Flink antes da versão 1.11. Para que seu aplicativo use o conector Kinesis para o Apache Flink com versões anteriores do Apache Flink, você deve baixar, compilar e instalar a versão do Apache Flink que seu aplicativo usa. Esse conector é usado para consumir dados de um Kinesis Stream usado como fonte do aplicativo ou para gravar dados em um Kinesis Stream usado para saída do aplicativo.

nota

Certifique-se de criar o conector com a versão 0.14.0 do KPL ou superior.

Para baixar e instalar o código-fonte do Apache Flink versão 1.8.2, faça o seguinte:

  1. Certifique-se de ter o Apache Maven instalado e que sua variável de ambiente JAVA_HOME aponte para um JDK em vez de um JRE. Você pode testar a instalação do Apache Maven com o seguinte comando:

    mvn -version
  2. Baixe o código-fonte do Apache Flink versão 1.8.2:

    wget https://archive.apache.org/dist/flink/flink-1.8.2/flink-1.8.2-src.tgz
  3. Descompacte o código-fonte do Apache Flink:

    tar -xvf flink-1.8.2-src.tgz
  4. Vá para o diretório do código-fonte do Apache Flink:

    cd flink-1.8.2
  5. Compile e instale o Apache Flink:

    mvn clean install -Pinclude-kinesis -DskipTests
    nota

    Se você estiver compilando o Flink no Microsoft Windows, precisará adicionar o parâmetro -Drat.skip=true.

Construir aplicações com o Apache Flink 1.8.2

Esta seção contém informações sobre os componentes que você usa para criar aplicativos do Managed Service para Apache Flink que funcionam com o Apache Flink 1.8.2.

Use as seguintes versões de componentes para os aplicativos do Managed Service for Apache Flink:

Componente Versão
Java 1.8 (recomendado)
Apache Flink 1.8.2
Runtime do Managed Service for Apache Flink (aws-kinesisanalytics-runtime) 1.0.1
Conectores do Managed Service for Apache Flink (aws-kinesisanalytics-flink) 1.0.1
Apache Maven 3.1

Para compilar um aplicativo usando o Apache Flink 1.8.2, execute o Maven com o seguinte parâmetro:

mvn package -Dflink.version=1.8.2

Para obter um exemplo de arquivo pom.xml para um aplicativo do Managed Service for Apache Flink que usa o Apache Flink versão 1.8.2, consulte Aplicativo de conceitos básicos do Managed Service for Apache Flink 1.8.2.

Para obter informações sobre como criar e usar o código de aplicativo para um aplicativo do Managed Service for Apache Flink, consulte. Criar aplicativos

Construir aplicações com o Apache Flink 1.6.2

Esta seção contém informações sobre os componentes que você usa para criar aplicativos do Managed Service for Apache Flink que funcionam com o Apache Flink 1.6.2.

Use as seguintes versões de componentes para os aplicativos do Managed Service for Apache Flink:

Componente Versão
Java 1.8 (recomendado)
AWS SDK do Java 1.11.379
Apache Flink 1.6.2
Runtime do Managed Service for Apache Flink (aws-kinesisanalytics-runtime) 1.0.1
Conectores do Managed Service for Apache Flink (aws-kinesisanalytics-flink) 1.0.1
Apache Maven 3.1
Apache Beam Não é compatível com o Apache Flink 1.6.2.
nota

Ao usar o Runtime do Managed Service for Apache Flink versão 1.0.1, você especifica a versão do Apache Flink em seu arquivo pom.xml em vez de usar o parâmetro -Dflink.version ao compilar o código do aplicativo.

Para obter um exemplo de arquivo pom.xml para um aplicativo do Managed Service for Apache Flink que usa o Apache Flink versão 1.6.2, consulte Aplicativo de conceitos básicos do Managed Service for Apache Flink 1.6.2.

Para obter informações sobre como criar e usar o código de aplicativo para um aplicativo do Managed Service for Apache Flink, consulte. Criar aplicativos

Atualização de aplicativos

Para atualizar a versão de um aplicativo do Managed Service for Apache Flink, você deve atualizar o código do aplicativo, excluir o aplicativo anterior e criar um novo aplicativo com o código atualizado. Para isso, faça o seguinte:

  • Altere as versões do runtime do Managed Service for Apache Flink e dos conectores do Managed Service for Apache Flink (aws-kinesisanalytics-flink) no arquivo pom.xml do seu aplicativo para 1.1.0.

  • Remova a propriedade flink.version do arquivo pom.xml do seu aplicativo. Você fornecerá esse parâmetro ao compilar o código do aplicativo na próxima etapa.

  • Recompile o código do seu aplicativo usando o seguinte comando:

    mvn package -Dflink.version=1.15.3
  • Exclua seu aplicativo existente. Crie seu aplicativo novamente e escolha Apache Flink versão 1.15.2 (versão recomendada) para o Runtime do aplicativo.

nota

Você não pode usar snapshots das versões anteriores do aplicativo.

Conectores disponíveis no Apache Flink 1.6.2 e 1.8.2

A estrutura do Apache Flink contém conectores para acessar dados de várias fontes.