Plugin dan opsi yang didukung untuk saluran Amazon OpenSearch Ingestion - OpenSearch Layanan Amazon

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Plugin dan opsi yang didukung untuk saluran Amazon OpenSearch Ingestion

Amazon OpenSearch Ingestion mendukung subset sumber, prosesor, dan sink dibandingkan dengan open source Data Prepper. Selain itu, ada beberapa kendala yang Ditempatkan oleh OpenSearch Ingestion pada opsi yang tersedia untuk setiap plugin yang didukung. Bagian berikut menjelaskan plugin dan opsi terkait yang didukung oleh OpenSearch Ingestion.

catatan

OpenSearch Ingestion tidak mendukung plugin buffer apa pun karena secara otomatis mengkonfigurasi buffer default. Anda menerima kesalahan validasi jika menyertakan buffer dalam konfigurasi pipeline Anda.

Plugin yang didukung

OpenSearch Ingestion mendukung plugin Data Prepper berikut:

Sumber:

Prosesor:

Wastafel:

  • OpenSearch(mendukung OpenSearch Layanan, OpenSearch Tanpa Server, dan Elasticsearch 6.8 atau yang lebih baru)

  • S3

Codec wastafel:

Prosesor stateless versus stateful

Prosesor stateless melakukan operasi seperti transformasi dan penyaringan, sementara prosesor stateful melakukan operasi seperti agregasi, yang mengingat hasil dari proses sebelumnya. OpenSearch Ingestion mendukung prosesor stateful Agregate dan Service-map. Semua prosesor lain yang didukung adalah stateless.

Untuk jaringan pipa yang hanya berisi prosesor stateless, batas kapasitas maksimum adalah 96 OCU konsumsi. Jika pipa berisi prosesor stateful, batas kapasitas maksimum adalah 48 OCU konsumsi. Namun, jika pipeline memiliki buffering persisten yang diaktifkan, ia dapat memiliki maksimum 384 OCU Ingestion dengan hanya prosesor stateless, atau 192 OCU Ingestion jika berisi prosesor stateful. Untuk informasi selengkapnya, lihat Penskalaan pipa.

nd-to-end Pengakuan E hanya didukung untuk prosesor stateless. Untuk informasi selengkapnya, lihat E nd-to-end pengakuan.

Persyaratan dan kendala konfigurasi

Kecuali ditentukan lain di bawah ini, semua opsi yang dijelaskan dalam referensi konfigurasi Persiapan Data untuk plugin yang didukung yang tercantum di atas diizinkan dalam pipeline OpenSearch Ingestion. Bagian berikut menjelaskan kendala yang Ditempatkan OpenSearch Ingestion pada opsi plugin tertentu.

catatan

OpenSearch Ingestion tidak mendukung plugin buffer apa pun karena secara otomatis mengkonfigurasi buffer default. Anda menerima kesalahan validasi jika menyertakan buffer dalam konfigurasi pipeline Anda.

Banyak opsi dikonfigurasi dan dikelola secara internal oleh OpenSearch Ingestion, seperti dan. authentication acm_certificate_arn Opsi lain, seperti thread_count danrequest_timeout, memiliki dampak kinerja jika diubah secara manual. Oleh karena itu, nilai-nilai ini ditetapkan secara internal untuk memastikan kinerja pipa Anda yang optimal.

Terakhir, beberapa opsi tidak dapat diteruskan ke OpenSearch Ingestion, seperti ism_policy_file dansink_template, karena mereka adalah file lokal ketika dijalankan di Prepper Data sumber terbuka. Nilai-nilai ini tidak didukung.

Opsi pipa umum

Opsi pipeline umum berikut disetel oleh OpenSearch Ingestion dan tidak didukung dalam konfigurasi pipeline:

  • workers

  • delay

Prosesor Grok

Opsi prosesor Grok berikut tidak didukung:

  • patterns_directories

  • patterns_files_glob

Sumber HTTP

Plugin sumber HTTP memiliki persyaratan dan kendala berikut:

  • pathOpsi ini diperlukan. Path adalah string seperti/log/ingest, yang mewakili jalur URI untuk log ingestion. Path ini mendefinisikan URI yang Anda gunakan untuk mengirim data ke pipeline. Misalnya, https://log-pipeline.us-west-2.osis.amazonaws.com/log/ingest. Jalur harus dimulai dengan garis miring (/), dan dapat berisi karakter khusus '-', '_', ' . ', dan'/', serta ${pipelineName} placeholder.

  • Opsi sumber HTTP berikut disetel oleh OpenSearch Ingestion dan tidak didukung dalam konfigurasi pipeline:

    • port

    • ssl

    • ssl_key_file

    • ssl_certificate_file

    • aws_region

    • authentication

    • unauthenticated_health_check

    • use_acm_certificate_for_ssl

    • thread_count

    • request_timeout

    • max_connection_count

    • max_pending_requests

    • health_check_service

    • acm_private_key_password

    • acm_certificate_timeout_millis

    • acm_certificate_arn

OpenSearch wastafel

Plugin OpenSearchwastafel memiliki persyaratan dan batasan berikut.

  • awsOpsi ini diperlukan, dan harus berisi opsi berikut:

    • sts_role_arn

    • region

    • hosts

    • serverless(jika wastafel adalah koleksi OpenSearch Tanpa Server)

  • sts_role_arnOpsi harus menunjuk ke peran yang sama untuk setiap sink dalam file definisi YAMAL.

  • hostsOpsi harus menentukan titik akhir domain OpenSearch Layanan atau titik akhir koleksi OpenSearch Tanpa Server. Semua host dalam file definisi YAMAL harus menunjuk ke titik akhir yang sama. Anda tidak dapat menentukan titik akhir kustom untuk domain; itu harus menjadi titik akhir standar.

  • Jika hosts opsi adalah titik akhir koleksi tanpa server, Anda harus mengatur opsi ke. serverless true Selain itu, jika file definisi YAMAL Anda berisi index_type opsi, itu harus disetel kemanagement_disabled, jika tidak validasi gagal.

  • Opsi berikut tidak didukung:

    • username

    • password

    • cert

    • proxy

    • dlq_file- Jika Anda ingin membongkar peristiwa gagal ke antrian huruf mati (DLQ), Anda harus menggunakan dlq opsi dan menentukan ember S3.

    • ism_policy_file

    • socket_timeout

    • template_file

    • insecure

    • bulk_size

Sumber metrik OTel, sumber jejak OTel, dan sumber log OTel

Sumber metrik OTel, sumber jejak OTel, dan plugin sumber log OTel memiliki persyaratan dan batasan berikut:

  • pathOpsi ini diperlukan. Path adalah string seperti/log/ingest, yang mewakili jalur URI untuk log ingestion. Path ini mendefinisikan URI yang Anda gunakan untuk mengirim data ke pipeline. Misalnya, https://log-pipeline.us-west-2.osis.amazonaws.com/log/ingest. Jalur harus dimulai dengan garis miring (/), dan dapat berisi karakter khusus '-', '_', ' . ', dan'/', serta ${pipelineName} placeholder.

  • Opsi berikut disetel oleh OpenSearch Ingestion dan tidak didukung dalam konfigurasi pipeline:

    • port

    • ssl

    • sslKeyFile

    • sslKeyCertChainFile

    • authentication

    • unauthenticated_health_check

    • useAcmCertForSSL

    • unframed_requests

    • proto_reflection_service

    • thread_count

    • request_timeout

    • max_connection_count

    • acmPrivateKeyPassword

    • acmCertIssueTimeOutMillis

    • health_check_service

    • acmCertificateArn

    • awsRegion

Prosesor grup jejak OTel

Prosesor grup jejak OTel memiliki persyaratan dan batasan berikut:

  • awsOpsi ini diperlukan, dan harus berisi opsi berikut:

    • sts_role_arn

    • region

    • hosts

  • sts_role_arnOpsi menentukan peran yang sama dengan peran pipeline yang Anda tentukan dalam konfigurasi OpenSearch wastafel.

  • insecureOpsi usernamepassword,cert, dan tidak didukung.

  • aws_sigv4Opsi ini diperlukan dan harus disetel ke true.

  • serverlessOpsi dalam plugin OpenSearch sink tidak didukung. Prosesor grup jejak Otel saat ini tidak berfungsi dengan koleksi Tanpa OpenSearch Server.

  • Jumlah otel_trace_group prosesor dalam badan konfigurasi pipa tidak boleh melebihi 8.

Prosesor jejak OTel

Prosesor jejak OTel memiliki persyaratan dan batasan berikut:

  • Nilai trace_flush_interval opsi tidak boleh melebihi 300 detik.

Prosesor peta layanan

Prosesor peta layanan memiliki persyaratan dan batasan berikut:

  • Nilai window_duration opsi tidak boleh melebihi 300 detik.

Sumber S3

Plugin sumber S3 memiliki persyaratan dan batasan berikut:

  • awsOpsi ini diperlukan, dan harus berisi region dan sts_role_arn opsi.

  • Nilai records_to_accumulate opsi tidak boleh melebihi 200.

  • Nilai maximum_messages opsi tidak boleh melebihi 10.

  • Jika ditentukan, disable_bucket_ownership_validation opsi harus diatur ke false.

  • Jika ditentukan, input_serialization opsi harus diatur keparquet.