Membuat notebook Studio

Notebook Studio berisi kueri atau program yang ditulis dalam SQL, Python, atau Scala yang berjalan di data streaming dan mengembalikan hasil analitik. Anda membuat aplikasi menggunakan konsol atau CLI, dan menyediakan kueri untuk menganalisis data dari sumber data Anda.

Aplikasi Anda memiliki komponen berikut:

• Sumber data, seperti klaster Amazon MSK, Kinesis data stream, atau bucket Amazon S3.

• Basis data AWS Glue. Basis data ini berisi tabel, yang menyimpan sumber data dan tujuan serta skema titik akhir tujuan Anda. Untuk informasi selengkapnya, lihat Bekerja dengan AWS Glue.

• Kode aplikasi Anda. Kode Anda menerapkan kueri atau program analitik Anda.

• Pengaturan aplikasi dan properti runtime Anda. Untuk informasi tentang pengaturan aplikasi dan properti runtime, lihat topik berikut di Panduan Developer untuk Aplikasi Apache Flink:

  • Paralelisme dan Penskalaan Aplikasi: Anda menggunakan pengaturan Paralelisme aplikasi untuk mengontrol jumlah kueri yang dapat dijalankan aplikasi Anda secara bersamaan. Kueri Anda juga dapat mengambil keuntungan dari peningkatan paralelisme jika kueri tersebut memiliki beberapa jalur eksekusi, seperti dalam keadaan berikut:

    • Saat memproses beberapa serpihan Kinesis data stream

    • Ketika membuat partisi data menggunakan operator KeyBy.

    • Saat menggunakan beberapa operator jendela

    Untuk informasi selengkapnya tentang penskalaan aplikasi, lihat Penskalaan Aplikasi di Layanan Terkelola untuk Apache Flink untuk Apache Flink.

  • Logging dan Monitoring: Untuk informasi tentang pencatatan dan pemantauan aplikasi, lihat Logging dan Monitoring di Amazon Managed Service untuk Apache Flink untuk Apache Flink.

  • Aplikasi Anda menggunakan titik pemeriksaan dan titik simpan untuk toleransi kesalahan. Titik pemeriksaan dan titik simpan tidak diaktifkan secara default untuk notebook Studio.

Anda dapat membuat notebook Studio menggunakan AWS Management Console atau AWS CLI.

Saat membuat aplikasi dari konsol, Anda memiliki opsi berikut:

• Di konsol Amazon MSK, pilih klaster Anda, lalu pilih Process data in real time (Proses data secara langsung).

• Di konsol Kinesis Data Streams, pilih aliran data Anda, lalu di tab Application (Aplikasi), pilih Process data in real time (Proses data secara langsung).

• Di konsol Managed Service for Apache Flink pilih tab Studio, lalu pilih Buat notebook Studio.

Untuk tutorial, lihat Deteksi Peristiwa dengan Layanan Terkelola untuk Apache Flink.

Untuk contoh solusi notebook Studio yang lebih canggih, lihat Apache Flink di Amazon Managed Service for Apache Flink Studio.