Anteriormente, o Amazon Managed Service for Apache Flink era conhecido como Amazon Kinesis Data Analytics for Apache Flink.
As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.
Informações sobre a versão anterior do Managed Service for Apache Flink
Este tópico contém informações sobre como usar o Managed Service para Apache Flink com versões mais antigas do Apache Flink. As versões do Apache Flink compatíveis com o Managed Service for Apache Flink são 1.15.2 (recomendado), 1.13.2, 1.11.1, 1.8.2 e 1.6.2.
Recomendamos que você use a versão com suporte mais recente do Apache Flink com o seu aplicativo do Managed Service for Apache Flink. A versão 1.15.2 do Apache Flink tem os seguintes recursos:
Suporte para API de tabela e SQL do Apache Flink
Suporte para aplicativos Python.
Suporte para Java versão 11 e qualquer versão do Scala
Um modelo de memória aprimorado
Otimizações do RocksDB para maior estabilidade do aplicativo
Suporte para gerenciador de tarefas e rastreamentos de pilha no painel do Apache Flink.
Este tópico contém as seguintes seções:
- Usar o conector de fluxos Kinesis para o Apache Flink com versões anteriores do Apache Flink
- Construir aplicações com o Apache Flink 1.8.2
- Construir aplicações com o Apache Flink 1.6.2
- Atualização de aplicativos
- Conectores disponíveis no Apache Flink 1.6.2 e 1.8.2
- Introdução: Flink 1.13.2
- Introdução: Flink 1.11.1
- Introdução: Flink 1.8.2
- Introdução: Flink 1.6.2
Usar o conector de fluxos Kinesis para o Apache Flink com versões anteriores do Apache Flink
O conector de fluxos Kinesis para o Apache Flink não estava incluído no Apache Flink antes da versão 1.11. Para que seu aplicativo use o conector Kinesis para o Apache Flink com versões anteriores do Apache Flink, você deve baixar, compilar e instalar a versão do Apache Flink que seu aplicativo usa. Esse conector é usado para consumir dados de um Kinesis Stream usado como fonte do aplicativo ou para gravar dados em um Kinesis Stream usado para saída do aplicativo.
nota
Certifique-se de criar o conector com a versão 0.14.0 do KPL
Para baixar e instalar o código-fonte do Apache Flink versão 1.8.2, faça o seguinte:
Certifique-se de ter o Apache Maven
instalado e que sua variável de ambiente JAVA_HOME
aponte para um JDK em vez de um JRE. Você pode testar a instalação do Apache Maven com o seguinte comando:mvn -version
Baixe o código-fonte do Apache Flink versão 1.8.2:
wget https://archive.apache.org/dist/flink/flink-1.8.2/flink-1.8.2-src.tgz
Descompacte o código-fonte do Apache Flink:
tar -xvf flink-1.8.2-src.tgz
Vá para o diretório do código-fonte do Apache Flink:
cd flink-1.8.2
Compile e instale o Apache Flink:
mvn clean install -Pinclude-kinesis -DskipTests
nota
Se você estiver compilando o Flink no Microsoft Windows, precisará adicionar o parâmetro
-Drat.skip=true
.
Construir aplicações com o Apache Flink 1.8.2
Esta seção contém informações sobre os componentes que você usa para criar aplicativos do Managed Service para Apache Flink que funcionam com o Apache Flink 1.8.2.
Use as seguintes versões de componentes para os aplicativos do Managed Service for Apache Flink:
Componente | Versão |
---|---|
Java | 1.8 (recomendado) |
Apache Flink | 1.8.2 |
Runtime do Managed Service for Apache Flink (aws-kinesisanalytics-runtime) | 1.0.1 |
Conectores do Managed Service for Apache Flink (aws-kinesisanalytics-flink) | 1.0.1 |
Apache Maven | 3.1 |
Para compilar um aplicativo usando o Apache Flink 1.8.2, execute o Maven com o seguinte parâmetro:
mvn package -Dflink.version=1.8.2
Para obter um exemplo de arquivo pom.xml
para um aplicativo do Managed Service for Apache Flink que usa o Apache Flink versão 1.8.2, consulte Aplicativo de conceitos básicos do Managed Service for Apache Flink 1.8.2
Para obter informações sobre como criar e usar o código de aplicativo para um aplicativo do Managed Service for Apache Flink, consulte. Criar aplicativos
Construir aplicações com o Apache Flink 1.6.2
Esta seção contém informações sobre os componentes que você usa para criar aplicativos do Managed Service for Apache Flink que funcionam com o Apache Flink 1.6.2.
Use as seguintes versões de componentes para os aplicativos do Managed Service for Apache Flink:
Componente | Versão |
---|---|
Java | 1.8 (recomendado) |
AWS SDK do Java | 1.11.379 |
Apache Flink | 1.6.2 |
Runtime do Managed Service for Apache Flink (aws-kinesisanalytics-runtime) | 1.0.1 |
Conectores do Managed Service for Apache Flink (aws-kinesisanalytics-flink) | 1.0.1 |
Apache Maven | 3.1 |
Apache Beam | Não é compatível com o Apache Flink 1.6.2. |
nota
Ao usar o Runtime do Managed Service for Apache Flink versão 1.0.1, você especifica a versão do Apache Flink em seu arquivo pom.xml
em vez de usar o parâmetro -Dflink.version
ao compilar o código do aplicativo.
Para obter um exemplo de arquivo pom.xml
para um aplicativo do Managed Service for Apache Flink que usa o Apache Flink versão 1.6.2, consulte Aplicativo de conceitos básicos do Managed Service for Apache Flink 1.6.2
Para obter informações sobre como criar e usar o código de aplicativo para um aplicativo do Managed Service for Apache Flink, consulte. Criar aplicativos
Atualização de aplicativos
Para atualizar a versão de um aplicativo do Managed Service for Apache Flink, você deve atualizar o código do aplicativo, excluir o aplicativo anterior e criar um novo aplicativo com o código atualizado. Para isso, faça o seguinte:
Altere as versões do runtime do Managed Service for Apache Flink e dos conectores do Managed Service for Apache Flink (aws-kinesisanalytics-flink) no arquivo
pom.xml
do seu aplicativo para 1.1.0.Remova a propriedade
flink.version
do arquivopom.xml
do seu aplicativo. Você fornecerá esse parâmetro ao compilar o código do aplicativo na próxima etapa.Recompile o código do seu aplicativo usando o seguinte comando:
mvn package -Dflink.version=1.15.3
Exclua seu aplicativo existente. Crie seu aplicativo novamente e escolha Apache Flink versão 1.15.2 (versão recomendada) para o Runtime do aplicativo.
nota
Você não pode usar snapshots das versões anteriores do aplicativo.
Conectores disponíveis no Apache Flink 1.6.2 e 1.8.2
A estrutura do Apache Flink contém conectores para acessar dados de várias fontes.
Para obter informações sobre conectores disponíveis na estrutura do Apache Flink 1.6.2, consulte Conectores (1.6.2)
na Documentação do Apache Flink (1.6.2) . Para obter informações sobre conectores disponíveis na estrutura do Apache Flink 1.8.2, consulte Conectores (1.8.2)
na Documentação do Apache Flink (1.8.2) .