Aliran dan Pompa dalam Aplikasi - Panduan Developer Amazon Kinesis Data Analytics untuk Aplikasi SQL

Untuk proyek baru, kami menyarankan Anda menggunakan Managed Service baru untuk Apache Flink Studio melalui Kinesis Data Analytics untuk Aplikasi SQL. Layanan Terkelola untuk Apache Flink Studio menggabungkan kemudahan penggunaan dengan kemampuan analitis tingkat lanjut, memungkinkan Anda membangun aplikasi pemrosesan aliran yang canggih dalam hitungan menit.

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Aliran dan Pompa dalam Aplikasi

Saat Anda mengonfigurasi input aplikasi, Anda memetakan sumber streaming ke aliran dalam aplikasi yang dibuat. Data terus mengalir dari sumber streaming ke aliran dalam aplikasi. Aliran dalam aplikasi bekerja seperti tabel yang dapat Anda kueri menggunakan pernyataan SQL, tetapi ini disebut aliran karena merupakan aliran data berkelanjutan.

catatan

Jangan bingung antara aliran dalam aplikasi dengan aliran data Amazon Kinesis dan aliran pengiriman Firehose. Aliran dalam aplikasi hanya ada dalam konteks aplikasi Amazon Kinesis Data Analytics. Aliran data Kinesis dan aliran pengiriman Firehose ada secara independen dari aplikasi Anda. Anda dapat mengonfigurasi keduanya sebagai sumber streaming dalam konfigurasi input aplikasi Anda atau sebagai tujuan dalam konfigurasi output.

Anda juga dapat membuat lebih banyak aliran dalam aplikasi jika perlu untuk menyimpan hasil kueri menengah. Membuat aliran dalam aplikasi adalah proses dua langkah. Pertama, Anda membuat aliran dalam aplikasi, lalu Anda memompa data ke dalamnya. Misalnya, konfigurasi input aplikasi Anda membuat aliran dalam aplikasi Anda bernama INPUTSTREAM. Dalam contoh berikut, Anda membuat aliran lain (TEMPSTREAM), lalu Anda memompa data dari INPUTSTREAM ke dalamnya.

  1. Buat aliran dalam aplikasi (TEMPSTREAM) dengan tiga kolom, seperti yang ditunjukkan berikut:

    CREATE OR REPLACE STREAM "TEMPSTREAM" ( "column1" BIGINT NOT NULL, "column2" INTEGER, "column3" VARCHAR(64));

    Nama-nama kolom ditentukan dalam tanda kutip, menjadikannya peka huruf besar/kecil. Untuk informasi selengkapnya, lihat Pengidentifikasi di Referensi SQL Amazon Kinesis Data Analytics.

  2. Masukkan data ke dalam aliran menggunakan pompa. Pompa adalah kueri masuk berkelanjutan yang berjalan yang memasukkan data dari satu aliran dalam aplikasi ke aliran dalam aplikasi lainnya. Pernyataan berikut membuat pompa (SAMPLEPUMP) dan memasukkan data ke dalam TEMPSTREAM dengan memilih catatan dari aliran lainnya (INPUTSTREAM).

    CREATE OR REPLACE PUMP "SAMPLEPUMP" AS INSERT INTO "TEMPSTREAM" ("column1", "column2", "column3") SELECT STREAM inputcolumn1, inputcolumn2, inputcolumn3 FROM "INPUTSTREAM";

Anda dapat memasukkan beberapa penulis ke aliran dalam aplikasi, dan mungkin ada beberapa pembaca yang dipilih dari aliran. Pikirkan aliran dalam aplikasi sebagai penerapan paradigma pesan terbitkan/berlangganan. Dalam paradigma ini, baris data, termasuk waktu pembuatan dan waktu penerimaan, dapat diproses, diinterpretasikan, dan diteruskan oleh serangkaian pernyataan SQL streaming, tanpa harus disimpan dalam RDBMS tradisional.

Setelah aliran dalam aplikasi dibuat, Anda dapat melakukan kueri SQL normal.

catatan

Ketika Anda mengkueri aliran, sebagian besar pernyataan SQL diikat menggunakan jendela berbasis baris atau berbasis waktu. Untuk informasi selengkapnya, lihat Kueri Jendela.

Anda juga dapat bergabung dengan aliran. Untuk contoh bergabung dengan aliran, lihat Operasi Data Streaming: Gabungan Streaming.