Contoh Python

Contoh berikut menunjukkan cara membuat aplikasi yang ditulis dengan Python.

catatan

Sebagian besar contoh dirancang untuk dijalankan secara lokal, di mesin pengembangan dan pilihan Anda, dan di Amazon Managed Service untuk Apache Flink. IDE Mereka mendemonstrasikan mekanisme sederhana yang dapat Anda gunakan untuk meneruskan parameter aplikasi, dan cara mengatur ketergantungan dengan benar untuk menjalankan aplikasi di kedua lingkungan tanpa perubahan.

Ketergantungan proyek

Sebagian besar PyFlink contoh memerlukan satu atau lebih dependensi dalam bentuk JAR file, misalnya untuk konektor Flink. Dependensi ini kemudian harus dikemas dengan aplikasi saat digunakan di Amazon Managed Service untuk Apache Flink.

Contoh berikut sudah menyertakan perkakas yang memungkinkan Anda menjalankan aplikasi secara lokal untuk pengembangan dan pengujian, dan untuk mengemas dependensi yang diperlukan dengan benar. Perkakas ini membutuhkan penggunaan Java JDK11 dan Apache Maven. Lihat yang README terkandung dalam setiap contoh untuk instruksi spesifik.

Contoh

Memulai dengan PyFlink

Contoh ini menunjukkan struktur dasar PyFlink aplikasi menggunakan SQL tertanam dalam kode Pyton. Proyek ini juga menyediakan kerangka untuk PyFlink aplikasi apa pun yang mencakup JAR dependensi seperti konektor. READMEBagian ini memberikan panduan terperinci tentang cara menjalankan aplikasi Python Anda secara lokal untuk pengembangan. Contoh ini juga menunjukkan cara memasukkan JAR dependensi tunggal, konektor SQL Kinesis dalam contoh ini, dalam PyFlink aplikasi Anda.

Contoh kode: GettingStarted

Menggunakan agregasi windowing () DataStream API

Contoh ini menunjukkan empat jenis agregasi windowing yang SQL disematkan dalam aplikasi Python.

1. Jendela Geser berdasarkan waktu pemrosesan

2. Jendela Geser berdasarkan waktu acara

3. Tumbling Window berdasarkan waktu pemrosesan

4. Jatuh Jendela berdasarkan waktu acara

Contoh kode: Windowing

Menggunakan wastafel S3

Contoh ini menunjukkan cara menulis output Anda ke Amazon S3 sebagai JSON file, menggunakan SQL tertanam dalam aplikasi Python. Anda harus mengaktifkan pos pemeriksaan untuk wastafel S3 untuk menulis dan memutar file ke Amazon S3.

Contoh kode: S3Sink

Menggunakan Fungsi yang Ditetapkan Pengguna (UDF)

Contoh ini menunjukkan bagaimana mendefinisikan User Defined Funtion, mengimplementasikannya dengan Python, dan menggunakannya dalam SQL kode yang berjalan dalam aplikasi Python.

Contoh kode: UDF

Menggunakan wastafel Amazon Data Firehose

Contoh ini menunjukkan cara mengirim data ke Amazon Data SQL Firehose menggunakan.

Contoh kode: FirehoseSink