Konsep kunci dalam Amazon OpenSearch Ingestion

Sebelum Anda mulai menggunakan OpenSearch Ingestion, akan sangat membantu untuk memahami konsep-konsep kunci ini.

Alur

Dari perspektif OpenSearch Ingestion, pipeline mengacu pada pengumpul data tunggal yang disediakan yang Anda buat dalam Layanan. OpenSearch Anda dapat menganggapnya sebagai keseluruhan file konfigurasi YAMB, yang mencakup satu atau lebih sub-pipeline. Untuk langkah-langkah untuk membuat saluran konsumsi, lihat. Membuat jaringan pipa

Sub-pipa

Anda menentukan sub-pipeline dalam file konfigurasi YAMB. Setiap sub-pipeline adalah kombinasi dari sumber, buffer, nol atau lebih prosesor, dan satu atau lebih sink. Anda dapat menentukan beberapa sub-pipeline dalam satu file YAMB, masing-masing dengan sumber, prosesor, dan sink unik. Untuk membantu dalam pemantauan dengan CloudWatch dan layanan lainnya, kami sarankan Anda menentukan nama pipeline yang berbeda dari semua sub-pipeline-nya.

Anda dapat merangkai beberapa sub-pipeline bersama-sama dalam satu file YAMB, sehingga sumber untuk satu sub-pipeline adalah sub-pipeline lain, dan sink adalah sub-pipeline ketiga. Sebagai contoh, lihat Menggunakan pipa OpenSearch Ingestion dengan Collector OpenTelemetry .

Sumber

Komponen input dari sub-pipeline. Ini mendefinisikan mekanisme di mana pipa mengkonsumsi catatan. Sumber dapat mengkonsumsi peristiwa baik dengan menerimanya melalui HTTPS, atau dengan membaca dari titik akhir eksternal seperti Amazon S3. Ada dua jenis sumber: berbasis push dan pull-based. Sumber berbasis push, seperti HTTP dan OTel log, mengalirkan catatan ke titik akhir konsumsi. Sumber berbasis tarik, seperti OTel trace dan S3, menarik data dari sumbernya.

Prosesor

Unit pemrosesan menengah yang dapat memfilter, mengubah, dan memperkaya catatan ke dalam format yang diinginkan sebelum menerbitkannya ke wastafel. Prosesor adalah komponen opsional dari pipa. Jika Anda tidak mendefinisikan prosesor, catatan dipublikasikan dalam format yang ditentukan dalam sumber. Anda dapat memiliki lebih dari satu prosesor. Pipeline menjalankan prosesor dalam urutan yang Anda definisikan.

Wastafel

Komponen output dari sub-pipeline. Ini mendefinisikan satu atau lebih tujuan yang sub-pipeline menerbitkan catatan. OpenSearch Ingestion mendukung domain OpenSearch Layanan sebagai sink. Ini juga mendukung sub-pipeline sebagai sink. Ini berarti Anda dapat merangkai beberapa sub-pipeline dalam satu pipa OpenSearch Ingestion (file YAMB). OpenSearch Cluster yang dikelola sendiri tidak didukung sebagai sink.

Penyangga

Bagian dari prosesor yang bertindak sebagai lapisan antara sumber dan wastafel. Anda tidak dapat mengonfigurasi buffer secara manual di dalam pipeline Anda. OpenSearch Ingestion menggunakan konfigurasi buffer default.

Rute

Bagian dari prosesor yang memungkinkan pembuat pipeline hanya mengirim peristiwa yang sesuai dengan kondisi tertentu ke sink yang berbeda.

Definisi sub-pipeline yang valid harus berisi sumber dan wastafel. Untuk informasi selengkapnya tentang masing-masing elemen pipeline ini, lihat referensi konfigurasi.