OpenSearch Tertelan Amazon - OpenSearch Layanan Amazon

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

OpenSearch Tertelan Amazon

Amazon OpenSearch Ingestion adalah pengumpul data tanpa server yang dikelola sepenuhnya yang mengirimkan data log, metrik, dan jejak waktu nyata ke domain OpenSearch Layanan Amazon dan koleksi Tanpa Server. OpenSearch

Dengan OpenSearch Ingestion, Anda tidak perlu lagi menggunakan solusi pihak ketiga seperti Logstash atau Jaeger untuk menyerap data ke dalam domain Layanan dan koleksi Tanpa Server Anda. OpenSearch OpenSearch Anda mengonfigurasi produsen data Anda untuk mengirim data ke OpenSearch Ingestion. Kemudian, secara otomatis mengirimkan data ke domain atau koleksi yang Anda tentukan. Anda juga dapat mengonfigurasi OpenSearch Ingestion untuk mengubah data Anda sebelum mengirimkannya.

Selain itu, dengan OpenSearch Ingestion, Anda tidak perlu khawatir tentang penyediaan server, mengelola dan menambal perangkat lunak, atau menskalakan cluster server Anda. Anda menyediakan saluran pipa konsumsi langsung di dalam AWS Management Console, dan OpenSearch Ingestion menangani pengelolaan dan penskalaannya.

OpenSearch Ingestion adalah bagian dari Amazon Service. OpenSearch Ini didukung oleh Data Prepper, yang merupakan pengumpul data open source yang dapat memfilter, memperkaya, mengubah, menormalkan, dan mengumpulkan data untuk analisis dan visualisasi hilir.

Konsep utama

Saat Anda memulai dengan OpenSearch Ingestion, Anda bisa mendapatkan keuntungan dari memahami konsep-konsep berikut:

Alur

Dari perspektif OpenSearch Ingestion, pipeline mengacu pada pengumpul data tunggal yang disediakan yang Anda buat dalam Layanan. OpenSearch Anda dapat menganggapnya sebagai keseluruhan file konfigurasi YAMB, yang mencakup satu atau lebih sub-pipeline. Untuk langkah-langkah untuk membuat saluran konsumsi, lihat. Membuat jaringan pipa

Sub-pipa

Anda menentukan sub-pipeline dalam file konfigurasi YAMB. Setiap sub-pipeline adalah kombinasi dari sumber, buffer, nol atau lebih prosesor, dan satu atau lebih sink. Anda dapat menentukan beberapa sub-pipeline dalam satu file YAMG, masing-masing dengan sumber, prosesor, dan sink unik. Untuk membantu dalam pemantauan dengan CloudWatch dan layanan lainnya, kami sarankan Anda menentukan nama pipeline yang berbeda dari semua sub-pipeline-nya.

Anda dapat merangkai beberapa sub-pipeline bersama-sama dalam satu file YAMB, sehingga sumber untuk satu sub-pipeline adalah sub-pipeline lain, dan sink adalah sub-pipeline ketiga. Sebagai contoh, lihat Menggunakan pipa OpenSearch Ingestion dengan Collector OpenTelemetry .

Sumber

Komponen input dari sub-pipeline. Ini mendefinisikan mekanisme di mana pipa mengkonsumsi catatan. Sumber dapat mengkonsumsi peristiwa baik dengan menerimanya melalui HTTPS, atau dengan membaca dari titik akhir eksternal seperti Amazon S3. Ada dua jenis sumber: berbasis push dan pull-based. Sumber berbasis push, seperti log HTTP dan OTel, mengalirkan catatan ke titik akhir konsumsi. Sumber berbasis tarik, seperti OtEL trace dan S3, menarik data dari sumbernya.

Prosesor

Unit pemrosesan menengah yang dapat memfilter, mengubah, dan memperkaya catatan ke dalam format yang diinginkan sebelum menerbitkannya ke wastafel. Prosesor adalah komponen opsional dari pipa. Jika Anda tidak mendefinisikan prosesor, catatan dipublikasikan dalam format yang ditentukan dalam sumber. Anda dapat memiliki lebih dari satu prosesor. Pipeline menjalankan prosesor dalam urutan yang Anda definisikan.

Wastafel

Komponen output dari sub-pipeline. Ini mendefinisikan satu atau lebih tujuan yang sub-pipeline menerbitkan catatan. OpenSearch Ingestion mendukung domain OpenSearch Layanan sebagai sink. Ini juga mendukung sub-pipeline sebagai sink. Ini berarti Anda dapat merangkai beberapa sub-pipeline dalam satu pipa OpenSearch Ingestion (file YAMB). OpenSearch Cluster yang dikelola sendiri tidak didukung sebagai sink.

Penyangga

Bagian dari prosesor yang bertindak sebagai lapisan antara sumber dan wastafel. Anda tidak dapat mengonfigurasi buffer secara manual di dalam pipeline Anda. OpenSearch Ingestion menggunakan konfigurasi buffer default.

Rute

Bagian dari prosesor yang memungkinkan pembuat pipeline hanya mengirim peristiwa yang sesuai dengan kondisi tertentu ke sink yang berbeda.

Definisi sub-pipeline yang valid harus berisi sumber dan wastafel. Untuk informasi selengkapnya tentang masing-masing elemen pipeline ini, lihat referensi konfigurasi.

Manfaat OpenSearch Tertelan

OpenSearch Tertelan memiliki manfaat utama sebagai berikut:

  • Menghilangkan kebutuhan bagi Anda untuk mengelola pipa yang disediakan sendiri secara manual.

  • Secara otomatis menskalakan saluran pipa Anda berdasarkan batas kapasitas yang Anda tentukan.

  • Selalu perbarui pipeline Anda dengan patch keamanan dan bug.

  • Menyediakan opsi untuk menghubungkan saluran pipa ke virtual private cloud (VPC) Anda untuk lapisan keamanan tambahan.

  • Memungkinkan Anda menghentikan dan memulai jaringan pipa untuk mengontrol biaya.

  • Menyediakan cetak biru konfigurasi pipeline untuk kasus penggunaan populer untuk membantu Anda bangun dan berjalan lebih cepat.

  • Memungkinkan Anda berinteraksi secara terprogram dengan pipeline Anda melalui berbagai AWS SDK dan API Ingestion. OpenSearch

  • Mendukung pemantauan kinerja di Amazon CloudWatch dan pencatatan kesalahan di CloudWatch Log.

Batasan

OpenSearch Tertelan memiliki keterbatasan sebagai berikut:

  • Anda hanya dapat menyerap data ke dalam domain yang menjalankan OpenSearch 1.0 atau yang lebih baru, atau Elasticsearch 6.8 atau yang lebih baru. Jika Anda menggunakan sumber jejak OTel, sebaiknya gunakan Elasticsearch 7.9 atau yang lebih baru agar Anda dapat menggunakan plugin Dasbor. OpenSearch

  • Jika pipeline menulis ke domain OpenSearch Layanan yang ada di dalam VPC, pipeline harus dibuat Wilayah AWS sama dengan domain.

  • Anda hanya dapat mengonfigurasi satu sumber data dalam definisi pipeline.

  • Anda tidak dapat menentukan OpenSearch cluster yang dikelola sendiri sebagai sink.

  • Anda tidak dapat menentukan titik akhir kustom sebagai wastafel. Anda masih dapat menulis ke domain yang memiliki titik akhir kustom diaktifkan, tetapi Anda harus menentukan titik akhir standarnya.

  • Anda tidak dapat menentukan sumber daya dalam Wilayah keikutsertaan sebagai sumber atau sink.

  • Ada beberapa kendala pada parameter yang dapat Anda sertakan dalam konfigurasi pipeline. Untuk informasi selengkapnya, lihat Persyaratan dan kendala konfigurasi.

Versi Data Prepper yang Didukung

OpenSearch Ingestion saat ini mendukung versi utama Data Prepper berikut:

  • 2.x

Saat Anda membuat pipeline, gunakan version opsi yang diperlukan untuk menentukan versi utama Data Prepper yang akan digunakan. Sebagai contoh,version: "2". OpenSearch Ingestion mengambil versi minor terbaru yang didukung dari versi utama itu dan menyediakan pipeline dengan versi itu. Untuk informasi selengkapnya, lihat Menentukan versi pipeline.

Saat ini, saluran pipa OpenSearch Ingestion disediakan dengan versi 2.7 dari Data Prepper. Untuk informasi, lihat catatan rilis 2.7. Untuk informasi tentang fitur dan perbaikan bug yang ada di setiap versi Data Prepper, lihat halaman Rilis. Tidak setiap versi minor dari versi utama tertentu didukung oleh OpenSearch Ingestion.

Saat Anda memperbarui file konfigurasi YAMB pipeline, jika ada dukungan untuk versi minor baru dari Data Prepper, OpenSearch Ingestion akan secara otomatis memutakhirkan pipeline ke versi minor terbaru yang didukung dari versi utama yang ditentukan dalam konfigurasi pipeline. Misalnya, Anda mungkin memiliki version: "2" konfigurasi pipeline, dan OpenSearch Ingestion awalnya menyediakan pipeline dengan versi 2.6.0. Saat dukungan untuk versi 2.7.0 ditambahkan, dan Anda membuat perubahan pada konfigurasi pipeline, OpenSearch Ingestion memutakhirkan pipeline ke versi 2.7.0. Proses ini membuat pipeline Anda tetap up to date dengan perbaikan bug terbaru dan peningkatan kinerja. OpenSearch Ingestion tidak dapat memperbarui versi utama pipeline Anda kecuali Anda mengubah version opsi secara manual dalam konfigurasi pipeline. Untuk informasi selengkapnya, lihat Memperbarui saluran pipa Amazon OpenSearch Ingestion.

Penskalaan pipa

Anda tidak perlu menyediakan dan mengelola kapasitas pipa sendiri. OpenSearch Penyerapan secara otomatis menskalakan kapasitas pipa Anda sesuai dengan perkiraan beban kerja Anda, berdasarkan Unit OpenSearch Komputasi Tertelan minimum dan maksimum (OCU Ingestion) yang Anda tentukan.

Setiap OCU Ingestion adalah kombinasi dari sekitar 8 GiB memori dan 2 vCPU. Anda dapat menentukan nilai OCU minimum dan maksimum untuk pipeline, dan OpenSearch Ingestion secara otomatis menskalakan kapasitas pipa Anda berdasarkan batas-batas ini.

Anda dapat menentukan salah satu nilai berikut:

  • Kapasitas minimum - Pipa dapat mengurangi kapasitas hingga jumlah OCU Tertelan ini. Kapasitas minimum yang ditentukan juga merupakan kapasitas awal untuk pipa.

  • Kapasitas maksimum - Pipa dapat meningkatkan kapasitas hingga jumlah OCU Tertelan ini.

Pastikan kapasitas maksimum untuk pipa cukup tinggi untuk menangani lonjakan beban kerja, dan kapasitas minimum cukup rendah untuk meminimalkan biaya saat pipa tidak sibuk. Berdasarkan pengaturan Anda, OpenSearch Ingestion secara otomatis menskalakan jumlah OCU Ingestion untuk pipeline Anda guna memproses beban kerja yang tertelan. Pada waktu tertentu, Anda hanya dikenakan biaya untuk OCU Ingestion yang sedang digunakan secara aktif oleh pipeline Anda.

Kapasitas yang dialokasikan untuk pipa OpenSearch Ingestion Anda naik turun berdasarkan persyaratan pemrosesan pipa Anda dan beban yang dihasilkan oleh aplikasi klien Anda. Ketika kapasitas dibatasi, OpenSearch Ingestion meningkat dengan mengalokasikan lebih banyak unit komputasi (GiB memori). Saat pipeline Anda memproses beban kerja yang lebih kecil, atau tidak memproses data sama sekali, pipeline dapat menurunkan skala ke OCU Ingestion minimum yang dikonfigurasi.

Anda dapat menentukan minimal 1 OCU Tertelan, maksimum 96 OCU Tertelan untuk jaringan pipa stateless, dan maksimum 48 OCU Tertelan untuk jaringan pipa stateful. Kami merekomendasikan minimal 2 OCU Tertelan untuk sumber berbasis push. Saat buffering persisten diaktifkan, Anda dapat menentukan minimal 2 dan maksimum 384 OCU Ingestion.

Diberikan pipa log standar dengan satu sumber, pola grok sederhana, dan wastafel, setiap unit komputasi dapat mendukung hingga 2 MiB per detik. Untuk jaringan pipa log yang lebih kompleks dengan beberapa prosesor, setiap unit komputasi mungkin mendukung lebih sedikit beban konsumsi. Berdasarkan kapasitas pipa dan pemanfaatan sumber daya, proses penskalaan OpenSearch Ingestion dimulai.

Untuk memastikan ketersediaan yang tinggi, OCU Ingestion didistribusikan di seluruh Availability Zones (AZ). Jumlah AZ tergantung pada kapasitas minimum yang Anda tentukan.

Misalnya, jika Anda menentukan minimal 2 unit komputasi, OCU Ingestion yang digunakan pada waktu tertentu didistribusikan secara merata di 2 AZ. Jika Anda menentukan minimal 3 atau lebih unit komputasi, OCU Ingestion didistribusikan secara merata di 3 AZ. Kami menyarankan Anda menyediakan setidaknya dua OCU Ingestion untuk memastikan ketersediaan 99,9% untuk saluran pipa konsumsi Anda.

Anda tidak ditagih untuk OCU Ingestion saat pipeline berada diCreate failed,,Creating, Deleting dan status. Stopped

Untuk petunjuk mengkonfigurasi dan mengambil pengaturan kapasitas untuk pipeline, lihatMembuat jaringan pipa.

OpenSearch Harga konsumsi

Pada waktu tertentu, Anda hanya membayar jumlah OCU Tertelan yang dialokasikan ke pipa, terlepas dari apakah ada data yang mengalir melalui pipa. OpenSearch Ingestion segera mengakomodasi beban kerja Anda dengan menskalakan kapasitas pipa naik atau turun berdasarkan penggunaan.

Untuk detail harga selengkapnya, lihat harga OpenSearch Layanan Amazon.

Didukung Wilayah AWS

OpenSearch Konsumsi tersedia dalam subset dari OpenSearch Layanan Wilayah AWS yang tersedia di. Untuk daftar Wilayah yang didukung, lihat titik akhir dan kuota OpenSearch Layanan Amazon di. Referensi Umum AWS

OpenSearch Kuota konsumsi

Untuk daftar kuota default untuk sumber daya OpenSearch Ingestion, lihat Kuota Layanan Amazon OpenSearch .