Langkah 7: Bersihkan sumber daya

Karena Anda membayar untuk menggunakan aliran data Kinesis, pastikan Anda menghapusnya dan tabel Amazon DynamoDB yang sesuai ketika Anda selesai dengannya. Biaya nominal terjadi pada aliran aktif bahkan ketika Anda tidak mengirim dan mendapatkan catatan. Ini karena aliran aktif menggunakan sumber daya dengan terus “mendengarkan” catatan masuk dan permintaan untuk mendapatkan catatan.

Untuk menghapus aliran dan tabel

1. Matikan produsen dan konsumen yang mungkin masih Anda jalankan.

2. Buka konsol Kinesis di https://console.aws.amazon.com/kinesis.

3. Pilih aliran yang Anda buat untuk aplikasi ini (StockTradeStream).

4. Pilih Hapus Stream.

5. Buka konsol DynamoDB di. https://console.aws.amazon.com/dynamodb/

6. Hapus tabel StockTradesProcessor.

Ringkasan

Memproses sejumlah besar data dalam waktu dekat tidak memerlukan penulisan kode yang rumit atau mengembangkan infrastruktur yang sangat besar. Ini sama dasarnya dengan menulis logika untuk memproses sejumlah kecil data (seperti menulisprocessRecord(Record)) tetapi menggunakan Kinesis Data Streams untuk skala sehingga berfungsi untuk sejumlah besar data streaming. Anda tidak perlu khawatir tentang bagaimana skala pemrosesan Anda karena Kinesis Data Streams menanganinya untuk Anda. Yang harus Anda lakukan adalah mengirim catatan streaming Anda ke Kinesis Data Streams dan menulis logika untuk memproses setiap rekaman baru yang diterima.

Berikut adalah beberapa peningkatan potensial untuk aplikasi ini.

Agregat di semua pecahan

Saat ini, Anda mendapatkan statistik yang dihasilkan dari agregasi catatan data yang diterima oleh satu pekerja dari satu pecahan. (Pecahan tidak dapat diproses oleh lebih dari satu pekerja dalam satu aplikasi pada saat yang bersamaan.) Tentu saja, ketika Anda menskalakan dan memiliki lebih dari satu pecahan, Anda mungkin ingin menggabungkan semua pecahan. Anda dapat melakukan ini dengan memiliki arsitektur pipeline di mana output dari setiap pekerja dimasukkan ke aliran lain dengan pecahan tunggal, yang diproses oleh pekerja yang mengumpulkan output dari tahap pertama. Karena data dari tahap pertama terbatas (satu sampel per menit per pecahan), maka akan dengan mudah ditangani oleh satu pecahan.

Pemrosesan skala

Ketika aliran meningkat untuk memiliki banyak pecahan (karena banyak produsen mengirim data), cara untuk menskalakan pemrosesan adalah dengan menambahkan lebih banyak pekerja. Anda dapat menjalankan pekerja di EC2 instans Amazon dan menggunakan grup Auto Scaling.

Gunakan konektor ke Amazon S3/DynamoDB/Amazon Redshift/Storm

Karena aliran terus diproses, outputnya dapat dikirim ke tujuan lain. AWS menyediakan konektor untuk mengintegrasikan Kinesis Data Streams AWS dengan layanan lain dan alat pihak ketiga.