Mise à jour des applications Python - Service géré pour Apache Flink

Le service géré Amazon pour Apache Flink était auparavant connu sous le nom d’Amazon Kinesis Data Analytics pour Apache Flink.

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Mise à jour des applications Python

Les applications Python peuvent utiliser les connecteurs de deux manières différentes : empaqueter des connecteurs et autres dépendances Java dans le cadre d’un fichier Uber JAR unique ou utiliser directement le connecteur JAR. Pour corriger les applications affectées par le blocage d’Async Sink :

  • Si l’application utilise un fichier Uber JAR, suivez les instructions de Mettre à jour les applications Java .

  • Pour reconstruire les connecteurs JAR à partir de la source, procédez comme suit :

Création de connecteurs à partir de la source :

Prérequis, similaires aux exigences de compilation Flink :

  • Java 11

  • Maven 3.2.5

  1. Téléchargez le code source pour Flink 1.15.4 :

    wget https://archive.apache.org/dist/flink/flink-1.15.4/flink-1.15.4-src.tgz

  2. Décompressez le code source :

    tar -xvf flink-1.15.4-src.tgz

  3. Accédez au répertoire du connecteur Kinesis

    cd flink-1.15.4/flink-connectors/flink-connector-kinesis/

  4. Compilez et installez le fichier jar du connecteur, en spécifiant AWS SDK la version requise. Pour accélérer la compilation, utilisez -DskipTests pour ignorer l’exécution des tests et -Dfast pour ignorer les vérifications supplémentaires du code source :

    mvn clean install -DskipTests -Dfast -Daws.sdkv2.version=2.20.144

  5. Accédez au répertoire du connecteur Kinesis

    cd ../flink-sql-connector-kinesis

  6. Compilez et installez le JAR du connecteur SQL :

    mvn clean install -DskipTests -Dfast

  7. Le fichier JAR obtenu sera disponible à l’adresse suivante :

    target/flink-sql-connector-kinesis-1.15.4.jar

  1. Téléchargez le code source pour Flink 1.15.4 :

    wget https://archive.apache.org/dist/flink/flink-1.15.4/flink-1.15.4-src.tgz

  2. Décompressez le code source :

    tar -xvf flink-1.15.4-src.tgz

  3. Accédez au répertoire du connecteur Kinesis

    cd flink-1.15.4/flink-connectors/flink-connector-aws-kinesis-streams/

  4. Compilez et installez le fichier jar du connecteur, en spécifiant AWS SDK la version requise. Pour accélérer la compilation, utilisez -DskipTests pour ignorer l’exécution des tests et -Dfast pour ignorer les vérifications supplémentaires du code source :

    mvn clean install -DskipTests -Dfast -Daws.sdk.version=2.20.144

  5. Accédez au répertoire du connecteur Kinesis

    cd ../flink-sql-connector-aws-kinesis-streams

  6. Compilez et installez le JAR du connecteur SQL :

    mvn clean install -DskipTests -Dfast

  7. Le fichier JAR obtenu sera disponible à l’adresse suivante :

    target/flink-sql-connector-aws-kinesis-streams-1.15.4.jar

  1. Téléchargez le code source pour Flink 1.15.4 :

    wget https://archive.apache.org/dist/flink/flink-1.15.4/flink-1.15.4-src.tgz

  2. Décompressez le code source :

    tar -xvf flink-1.15.4-src.tgz

  3. Accédez au répertoire du connecteur

    cd flink-1.15.4/flink-connectors/flink-connector-aws-kinesis-firehose/

  4. Compilez et installez le fichier jar du connecteur, en spécifiant AWS SDK la version requise. Pour accélérer la compilation, utilisez -DskipTests pour ignorer l’exécution des tests et -Dfast pour ignorer les vérifications supplémentaires du code source :

    mvn clean install -DskipTests -Dfast -Daws.sdk.version=2.20.144

  5. Accédez au répertoire du connecteur SQL

    cd ../flink-sql-connector-aws-kinesis-firehose

  6. Compilez et installez le JAR du connecteur SQL :

    mvn clean install -DskipTests -Dfast

  7. Le fichier JAR obtenu sera disponible à l’adresse suivante :

    target/flink-sql-connector-aws-kinesis-firehose-1.15.4.jar

  1. Téléchargez le code source pour Flink 1.15.4 :

    wget https://archive.apache.org/dist/flink/flink-connector-aws-3.0.0/flink-connector-aws-3.0.0-src.tgz

  2. Décompressez le code source :

    tar -xvf flink-connector-aws-3.0.0-src.tgz

  3. Accédez au répertoire du connecteur

    cd flink-connector-aws-3.0.0

  4. Compilez et installez le fichier jar du connecteur, en spécifiant AWS SDK la version requise. Pour accélérer la compilation, utilisez -DskipTests pour ignorer l’exécution des tests et -Dfast pour ignorer les vérifications supplémentaires du code source :

    mvn clean install -DskipTests -Dfast -Dflink.version=1.15.4 -Daws.sdk.version=2.20.144

  5. Le fichier JAR obtenu sera disponible à l’adresse suivante :

    flink-sql-connector-dynamodb/target/flink-sql-connector-dynamodb-3.0.0.jar