Atualizar aplicativos Python - Managed Service for Apache Flink

O Amazon Managed Service para Apache Flink (Amazon MSF) era conhecido anteriormente como Amazon Kinesis Data Analytics for Apache Flink.

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Atualizar aplicativos Python

Os aplicativos Python podem usar conectores de duas maneiras diferentes: empacotar conectores e outras dependências Java como parte de um único uber-jar ou usar o jar de conectores diretamente. Para corrigir aplicativos afetados pelo deadlock do Async Sink:

  • Se o aplicativo usar um uber jar, siga as instruções para Atualizar aplicativos Java .

  • Para recriar jars de conectores a partir da fonte, use as seguintes etapas:

Construir conectores a partir da fonte:

Pré-requisitos, semelhantes aos requisitos de compilação do Flink:

  • Java 11

  • Maven 3.2.5

  1. Baixe o código-fonte do Flink 1.15.4:

    wget https://archive.apache.org/dist/flink/flink-1.15.4/flink-1.15.4-src.tgz

  2. Descompactar código-fonte:

    tar -xvf flink-1.15.4-src.tgz

  3. Navegue até o diretório do conector kinesis

    cd flink-1.15.4/flink-connectors/flink-connector-kinesis/

  4. Compile e instale o jar de conectores, especificando a versão necessária do AWS SDK. Para acelerar a compilação, use -DskipTests para ignorar a execução do teste e -Dfast para ignorar verificações adicionais do código-fonte:

    mvn clean install -DskipTests -Dfast -Daws.sdkv2.version=2.20.144

  5. Navegue até o diretório do conector kinesis

    cd ../flink-sql-connector-kinesis

  6. Compile e instale o jar do conector sql:

    mvn clean install -DskipTests -Dfast

  7. O jar resultante estará disponível em:

    target/flink-sql-connector-kinesis-1.15.4.jar

  1. Baixe o código-fonte do Flink 1.15.4:

    wget https://archive.apache.org/dist/flink/flink-1.15.4/flink-1.15.4-src.tgz

  2. Descompactar código-fonte:

    tar -xvf flink-1.15.4-src.tgz

  3. Navegue até o diretório do conector kinesis

    cd flink-1.15.4/flink-connectors/flink-connector-aws-kinesis-streams/

  4. Compile e instale o jar de conectores, especificando a versão necessária do AWS SDK. Para acelerar a compilação, use -DskipTests para ignorar a execução do teste e -Dfast para ignorar verificações adicionais do código-fonte:

    mvn clean install -DskipTests -Dfast -Daws.sdk.version=2.20.144

  5. Navegue até o diretório do conector kinesis

    cd ../flink-sql-connector-aws-kinesis-streams

  6. Compile e instale o jar do conector sql:

    mvn clean install -DskipTests -Dfast

  7. O jar resultante estará disponível em:

    target/flink-sql-connector-aws-kinesis-streams-1.15.4.jar

  1. Baixe o código-fonte do Flink 1.15.4:

    wget https://archive.apache.org/dist/flink/flink-1.15.4/flink-1.15.4-src.tgz

  2. Descompactar código-fonte:

    tar -xvf flink-1.15.4-src.tgz

  3. Navegue até o diretório do conector

    cd flink-1.15.4/flink-connectors/flink-connector-aws-kinesis-firehose/

  4. Compile e instale o jar de conectores, especificando a versão necessária do AWS SDK. Para acelerar a compilação, use -DskipTests para ignorar a execução do teste e -Dfast para ignorar verificações adicionais do código-fonte:

    mvn clean install -DskipTests -Dfast -Daws.sdk.version=2.20.144

  5. Navegue até o diretório do conector sql

    cd ../flink-sql-connector-aws-kinesis-firehose

  6. Compile e instale o jar do conector sql:

    mvn clean install -DskipTests -Dfast

  7. O jar resultante estará disponível em:

    target/flink-sql-connector-aws-kinesis-firehose-1.15.4.jar

  1. Baixe o código-fonte do Flink 1.15.4:

    wget https://archive.apache.org/dist/flink/flink-connector-aws-3.0.0/flink-connector-aws-3.0.0-src.tgz

  2. Descompactar código-fonte:

    tar -xvf flink-connector-aws-3.0.0-src.tgz

  3. Navegue até o diretório do conector

    cd flink-connector-aws-3.0.0

  4. Compile e instale o jar de conectores, especificando a versão necessária do AWS SDK. Para acelerar a compilação, use -DskipTests para ignorar a execução do teste e -Dfast para ignorar verificações adicionais do código-fonte:

    mvn clean install -DskipTests -Dfast -Dflink.version=1.15.4 -Daws.sdk.version=2.20.144

  5. O jar resultante estará disponível em:

    flink-sql-connector-dynamodb/target/flink-sql-connector-dynamodb-3.0.0.jar