Konsep Amazon Kinesis Agent for Microsoft Windows

Memahami konsep utama Amazon Kinesis Agent for Microsoft Windows (Kinesis Agent for Windows) dapat memudahkan Anda mengumpulkan dan mengalirkan data di armada desktop dan server ke sisa data pipeline untuk diproses.

Diagram dari data pipeline ini menggambarkan komponen dan proses berikut:

Server dan desktop memiliki artefak seperti file log, peristiwa, dan metrik yang dikumpulkan oleh satu atau beberapa sumber Kinesis Agent for Windows. Data dapat diubah secara opsional dari, misalnya, format teks file datar ke objek.

Data (dalam bentuk objek atau teks) kemudian dapat mengalir ke satu atau beberapa pipa Kinesis Agent for Windows. Pipa menghubungkan satu sumber ke satu sink Kinesis Agent for Windows. Pipa secara opsional dapat menyaring data yang tidak perlu.

Sink secara opsional dapat mengubah data yang diurai menjadi objek menjadi JSON atau XML. Sink mengirimkan data ke layanan AWS tertentu, seperti Kinesis Data Streams, Kinesis Data Firehose, atau Amazon CloudWatch.

Dengan menggunakan beberapa pipa, satu sumber dapat mengirim data yang sama ke beberapa sink (misalnya, lihat pipa F dan G dalam diagram). Dengan menggunakan beberapa pipa, sumber yang berbeda dapat mengalirkan data ke satu sink (misalnya, lihat pipa A, B, dan C dalam diagram). Beberapa pipa juga dapat digunakan untuk mengalirkan data dari beberapa sink ke beberapa sumber. Sumber, sink, dan pipa memiliki jenis, dan sumber, sink, atau pipa dari jenis yang sama bisa berjumlah lebih dari satu.

Untuk contoh file konfigurasi yang menyatakan sumber, sink, dan pipa, lihat Contoh Konfigurasi Kinesis Agent for Windows.

Data Pipeline

Data pipeline digunakan untuk mengumpulkan, memproses, memvisualisasikan, dan mungkin menghasilkan alarm untuk aplikasi dan layanan. Kinesis Agent for Windows cocok dengan data pipeline di awal—dengan log, peristiwa, dan metrik dikumpulkan dari armada komputer desktop atau server. Kinesis Agent for Windows mengalirkan data yang dikumpulkan ke berbagai layanan AWS yang membentuk sisa data pipeline. Data pipeline memiliki tujuan, seperti memvisualisasikan kondisi layanan tertentu secara langsung untuk membantu teknisi mengoperasikan layanan tersebut dengan lebih efektif. Data pipeline kondisi layanan dapat melakukan hal-hal berikut:

• Memberi tahu teknisi tentang masalah sebelum masalah tersebut memengaruhi pengalaman pelanggan layanan.

• Membantu teknisi mengelola biaya layanan secara efisien dengan menunjukkan tren penggunaan sumber daya. Tren ini memungkinkan mereka untuk menyesuaikan tingkat sumber daya dengan tepat, atau bahkan menerapkan skenario penskalaan otomatis.

• Memberikan wawasan akar penyebab masalah yang dilaporkan oleh pelanggan layanan. Hal ini mempercepat penyelesaian masalah tersebut dan mengurangi biaya dukungan.

Untuk contoh langkah demi langkah pembuatan data pipeline menggunakan Kinesis Agent for Windows, lihat Tutorial: Mengalirkan Berkas Log JSON ke Amazon S3 Menggunakan Kinesis Agent for Windows.

Sources

Sumber Kinesis Agent for Windows mengumpulkan log, peristiwa, atau metrik. Sumber mengumpulkan jenis data tertentu dari produsen tertentu dari data tersebut menurut jenis sumber. Misalnya, jenis DirectorySource mengumpulkan file log dari direktori tertentu dalam sistem file. Jika data belum terstruktur (seperti dengan beberapa jenis file log), sumber dapat berguna dalam menguraikan representasi tekstual ke dalam beberapa bentuk terstruktur. Setiap sumber sesuai dengan deklarasi sumber tertentu di file konfigurasi appsettings.json Kinesis Agent for Windows. Deklarasi sumber memberikan rincian penting untuk mengonfigurasi sumber untuk menyesuaikan sumber berdasarkan persyaratan pengumpulan data tertentu. Jenis rincian yang dapat dikonfigurasi bervariasi menurut jenis sumber. Misalnya, jenis sumber DirectorySource memerlukan spesifikasi direktori tempat file log berada.

Untuk rincian lebih lanjut tentang jenis sumber dan deklarasi sumber, lihat Deklarasi Sumber.

Sinks

Sink Kinesis Agent for Windows mengambil data yang dikumpulkan oleh sumber Kinesis Agent for Windows dan mengalirkan data tersebut ke salah satu dari beberapa layanan AWS yang membentuk sisa data pipeline. Setiap sink sesuai dengan deklarasi sumber tertentu di file konfigurasi appsettings.json Kinesis Agent for Windows. Deklarasi sumber memberikan rincian penting untuk mengonfigurasi sink untuk menyesuaikan sink berdasarkan persyaratan streaming data tertentu. Jenis rincian yang dapat dikonfigurasi bervariasi menurut jenis sink. Sebagai contoh, beberapa jenis sink memungkinkan deklarasi sink untuk menentukan Format serialisasi tertentu untuk data yang diberikan kepada sink. Ketika opsi ini ditentukan dalam deklarasi sink, serialisasi data yang dikumpulkan terjadi sebelum streaming data ke layanan AWS yang berhubungan dengan sink.

Untuk informasi lebih lanjut tentang jenis sink dan deklarasi sink, lihat Deklarasi Sink.

Pipes

Pipa Kinesis Agent for Windows menghubungkan output sumber Kinesis Agent for Windows ke input sink Kinesis Agent for Windows. Pipa ini secara opsional mengubah data saat mengalir melalui pipa tersebut. Setiap pipa sesuai dengan deklarasi pipa tertentu di file konfigurasi appsettings.json Kinesis Agent for Windows. Deklarasi pipa memberikan rincian penting untuk mengonfigurasi sink, seperti sumber dan sink untuk pipa.

Untuk informasi lebih lanjut tentang jenis pipa dan deklarasi pipa, lihat Deklarasi Alur.