Exemples Python - Service géré pour Apache Flink

Le service géré Amazon pour Apache Flink était auparavant connu sous le nom d’Amazon Kinesis Data Analytics pour Apache Flink.

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Exemples Python

Les exemples suivants montrent comment créer des applications écrites en Python.

Note

La plupart des exemples sont conçus pour fonctionner à la fois localement, sur votre machine de développement et celle IDE de votre choix, et sur Amazon Managed Service pour Apache Flink. Ils montrent le mécanisme simple que vous pouvez utiliser pour transmettre les paramètres de l'application et comment définir correctement la dépendance pour exécuter l'application dans les deux environnements sans modification.

Dépendances du projet

La plupart PyFlink des exemples nécessitent une ou plusieurs dépendances sous forme de JAR fichiers, par exemple pour les connecteurs Flink. Ces dépendances doivent ensuite être intégrées à l'application lors du déploiement sur Amazon Managed Service pour Apache Flink.

Les exemples suivants incluent déjà les outils qui vous permettent d'exécuter l'application localement à des fins de développement et de test, et d'empaqueter correctement les dépendances requises. Cet outillage nécessite l'utilisation de Java JDK11 et d'Apache Maven. Reportez-vous au README contenu de chaque exemple pour les instructions spécifiques.

Exemples

Cet exemple illustre la structure de base d'une PyFlink application utilisant le code SQL intégré en Python. Ce projet fournit également un squelette pour toute PyFlink application qui inclut des JAR dépendances telles que des connecteurs. La README section fournit des instructions détaillées sur la façon d'exécuter votre application Python localement pour le développement. L'exemple montre également comment inclure une seule JAR dépendance, le SQL connecteur Kinesis dans cet exemple, dans votre PyFlink application.

Exemple de code : GettingStarted

Cet exemple illustre quatre types d'agrégation de fenêtrage SQL intégrés dans une application Python.

  1. Fenêtre coulissante basée sur le temps de traitement

  2. Fenêtre coulissante basée sur l'heure de l'événement

  3. Fenêtre de défilement basée sur le temps de traitement

  4. Fenêtre tumbling basée sur l'heure de l'événement

Exemple de code : Fenêtrage

Cet exemple montre comment écrire votre sortie sur Amazon S3 sous forme de JSON fichiers, en utilisant SQL Embedded in a Python application. Vous devez activer le point de contrôle pour que le récepteur S3 puisse écrire et faire pivoter des fichiers vers Amazon S3.

Exemple de code : S3Sink

Cet exemple montre comment définir une fonction définie par l'utilisateur, l'implémenter en Python et l'utiliser dans SQL du code exécuté dans une application Python.

Exemple de code : UDF

Cet exemple montre comment envoyer des données à Amazon Data Firehose à l'aide de. SQL

Exemple de code : FirehoseSink