Unterstützte Plugins und Optionen für Amazon OpenSearch Ingestion-Pipelines

Amazon OpenSearch Ingestion unterstützt im Vergleich zu Open Source Data Prepper eine Untergruppe von Quellen, Prozessoren und Senken. Darüber hinaus gibt es einige Einschränkungen, die OpenSearch Ingestion in Bezug auf die verfügbaren Optionen für jedes unterstützte Plugin festlegt. In den folgenden Abschnitten werden die Plugins und die zugehörigen Optionen beschrieben, die OpenSearch Ingestion unterstützt.

Anmerkung

OpenSearch Ingestion unterstützt keine Puffer-Plugins, da es automatisch einen Standardpuffer konfiguriert. Sie erhalten einen Validierungsfehler, wenn Sie einen Puffer in Ihre Pipeline-Konfiguration aufnehmen.

Unterstützte Plug-ins

OpenSearch Ingestion unterstützt die folgenden Data Prepper-Plugins:

Quellen:

• Amazon DocumentDB

• DynamoDB

• OpenSearch

• HTTP

• Kafka

• Hotelprotokolle

• Otel-Metriken

• Hotel-Trace

• S3

Prozessoren:

• Aggregate

• Anomaliedetektor

• CSV

• Date (Datum)

• Dekomprimieren

• Sezieren

• Ereignisse löschen

• Geo-IP

• Grok

• Schlüsselwert

• Von der Karte zur Liste

• Ereignis mutieren (Reihe von Prozessoren)

• Zeichenfolge mutieren (Reihe von Prozessoren)

• Verschleiern

• Hotel-Metriken

• Otel Trace-Gruppe

• Hotel Trace

• Ion analysieren

• Analysieren Sie JSON

• Analysieren Sie XML

• Wählen Sie Einträge aus

• Service-Karte

• Peer Forwarder nachverfolgen

• Kürzen

• Benutzeragent

Senkt:

• OpenSearch(unterstützt OpenSearch Service, OpenSearch Serverless und Elasticsearch 6.8 oder höher)

• S3

Sink-Codecs:

• Avro

• NDJSON

• JSON

• Parkett

Stateless versus statusbehaftete Prozessoren

Zustandslose Prozessoren führen Operationen wie Transformationen und Filterung durch, während statusbehaftete Prozessoren Operationen wie Aggregationen ausführen, die sich an das Ergebnis der vorherigen Ausführung erinnern. OpenSearch Ingestion unterstützt die Stateful-Prozessoren Aggregate und Service-MAP. Alle anderen unterstützten Prozessoren sind statuslos.

Für Pipelines, die nur statuslose Prozessoren enthalten, liegt die maximale Kapazitätsgrenze bei 96 Ingestion-OCUs. Wenn eine Pipeline Stateful-Prozessoren enthält, beträgt die maximale Kapazitätsgrenze 48 Ingestion-OCUs. Wenn für eine Pipeline jedoch die persistente Pufferung aktiviert ist, kann sie maximal 384 Ingestion-OCUs mit nur statusfreien Prozessoren oder 192 Ingestion-OCUs haben, wenn sie Stateful-Prozessoren enthält. Weitere Informationen finden Sie unter Skalierung von Pipelines.

E-Bestätigung wird nur für statusfreie Prozessoren unterstützt. nd-to-end Weitere Informationen finden Sie unter E-Bestätigung nd-to-end .

Konfigurationsanforderungen und Einschränkungen

Sofern unten nicht anders angegeben, sind alle in der Data Prepper-Konfigurationsreferenz für die oben aufgeführten unterstützten Plugins beschriebenen Optionen in OpenSearch Ingestion-Pipelines zulässig. In den folgenden Abschnitten werden die Einschränkungen erläutert, die OpenSearch Ingestion bestimmten Plugin-Optionen auferlegt.

Anmerkung

OpenSearch Ingestion unterstützt keine Puffer-Plugins, da es automatisch einen Standardpuffer konfiguriert. Sie erhalten einen Validierungsfehler, wenn Sie einen Puffer in Ihre Pipeline-Konfiguration aufnehmen.

Viele Optionen werden intern von OpenSearch Ingestion konfiguriert und verwaltet, z. B. authentication und. acm_certificate_arn Andere Optionen, wie z. B. thread_count und, haben Auswirkungen auf die Leistungrequest_timeout, wenn sie manuell geändert werden. Daher werden diese Werte intern festgelegt, um eine optimale Leistung Ihrer Pipelines sicherzustellen.

Schließlich können einige Optionen nicht an OpenSearch Ingestion übergeben werden, z. B. ism_policy_file undsink_template, da es sich bei der Ausführung im Open-Source-Data Prepper um lokale Dateien handelt. Diese Werte werden nicht unterstützt.

Themen

• Allgemeine Pipeline-Optionen
• Grok-Prozessor
• HTTP-Quelle
• OpenSearch sinken
• Quelle für oTel-Metriken, Quelle für oTel-Trace-Daten und Quelle für oTel-Protokolle
• Prozessor für die OT-Trace-Gruppe
• Otel-Trace-Prozessor
• Service-Map-Prozessor
• S3-Quelle

Allgemeine Pipeline-Optionen

Die folgenden allgemeinen Pipeline-Optionen werden von OpenSearch Ingestion festgelegt und in Pipeline-Konfigurationen nicht unterstützt:

• workers

• delay

Grok-Prozessor

Die folgenden Grok-Prozessoroptionen werden nicht unterstützt:

• patterns_directories

• patterns_files_glob

HTTP-Quelle

Für das HTTP-Quell-Plugin gelten die folgenden Anforderungen und Einschränkungen:

• Die path Option ist erforderlich. Der Pfad ist eine Zeichenfolge wie/log/ingest, die den URI-Pfad für die Protokollaufnahme darstellt. Dieser Pfad definiert den URI, den Sie verwenden, um Daten an die Pipeline zu senden. z. B. https://log-pipeline.us-west-2.osis.amazonaws.com/log/ingest. Der Pfad muss mit einem Schrägstrich (/) beginnen und kann die Sonderzeichen '-', '_', 'enthalten . 'und'/'sowie der ${pipelineName} Platzhalter.

• Die folgenden HTTP-Quelloptionen werden von OpenSearch Ingestion festgelegt und in Pipeline-Konfigurationen nicht unterstützt:

  • port

  • ssl

  • ssl_key_file

  • ssl_certificate_file

  • aws_region

  • authentication

  • unauthenticated_health_check

  • use_acm_certificate_for_ssl

  • thread_count

  • request_timeout

  • max_connection_count

  • max_pending_requests

  • health_check_service

  • acm_private_key_password

  • acm_certificate_timeout_millis

  • acm_certificate_arn

OpenSearch sinken

Das OpenSearchSink-Plugin hat die folgenden Anforderungen und Einschränkungen.

• Die aws Option ist erforderlich und muss die folgenden Optionen enthalten:

  • sts_role_arn

  • region

  • hosts

  • serverless(wenn es sich bei der Senke um eine OpenSearch serverlose Sammlung handelt)

• Die sts_role_arn Option muss für jede Senke innerhalb einer YAML-Definitionsdatei auf dieselbe Rolle verweisen.

• Die hosts Option muss einen OpenSearch Dienstdomänenendpunkt oder einen OpenSearch serverlosen Sammlungsendpunkt angeben. Alle Hosts in einer YAML-Definitionsdatei müssen auf denselben Endpunkt verweisen. Sie können keinen benutzerdefinierten Endpunkt für eine Domain angeben. Es muss sich um den Standardendpunkt handeln.

• Wenn es sich bei der hosts Option um einen serverlosen Erfassungsendpunkt handelt, müssen Sie die serverless Option auf true setzen. Wenn Ihre YAML-Definitionsdatei die index_type Option enthält, muss sie außerdem auf gesetzt seinmanagement_disabled, andernfalls schlägt die Validierung fehl.

• Die folgenden Optionen werden nicht unterstützt:

  • username

  • password

  • cert

  • proxy

  • dlq_file— Wenn Sie fehlgeschlagene Ereignisse in eine Warteschlange (Dead Letter Queue, DLQ) auslagern möchten, müssen Sie die dlq Option verwenden und einen S3-Bucket angeben.

  • ism_policy_file

  • socket_timeout

  • template_file

  • insecure

  • bulk_size

Quelle für oTel-Metriken, Quelle für oTel-Trace-Daten und Quelle für oTel-Protokolle

Für die Plug-ins oTEL metrics source, oTEL trace source und oTEL logs source gelten die folgenden Anforderungen und Einschränkungen:

• Die path Option ist erforderlich. Der Pfad ist eine Zeichenfolge wie/log/ingest, die den URI-Pfad für die Protokollaufnahme darstellt. Dieser Pfad definiert den URI, den Sie verwenden, um Daten an die Pipeline zu senden. z. B. https://log-pipeline.us-west-2.osis.amazonaws.com/log/ingest. Der Pfad muss mit einem Schrägstrich (/) beginnen und kann die Sonderzeichen '-', '_', 'enthalten . 'und'/'sowie der ${pipelineName} Platzhalter.

• Die folgenden Optionen werden von OpenSearch Ingestion festgelegt und in Pipeline-Konfigurationen nicht unterstützt:

  • port

  • ssl

  • sslKeyFile

  • sslKeyCertChainFile

  • authentication

  • unauthenticated_health_check

  • useAcmCertForSSL

  • unframed_requests

  • proto_reflection_service

  • thread_count

  • request_timeout

  • max_connection_count

  • acmPrivateKeyPassword

  • acmCertIssueTimeOutMillis

  • health_check_service

  • acmCertificateArn

  • awsRegion

Prozessor für die OT-Trace-Gruppe

Für den OTel Trace Group Processor gelten die folgenden Anforderungen und Einschränkungen:

• Die aws Option ist erforderlich und muss die folgenden Optionen enthalten:

  • sts_role_arn

  • region

  • hosts

• Die sts_role_arn Option gibt dieselbe Rolle an wie die Pipeline-Rolle, die Sie in der OpenSearch Senkenkonfiguration angeben.

• Die insecure Optionen usernamepassword,cert, und werden nicht unterstützt.

• Die aws_sigv4 Option ist erforderlich und muss auf true gesetzt werden.

• Die serverless Option im OpenSearch Sink-Plugin wird nicht unterstützt. Der Otel Trace Group Processor funktioniert derzeit nicht mit OpenSearch serverlosen Sammlungen.

• Die Anzahl der otel_trace_group Prozessoren im Pipeline-Konfigurationstext darf 8 nicht überschreiten.

Otel-Trace-Prozessor

Für den OTel Trace-Prozessor gelten die folgenden Anforderungen und Einschränkungen:

• Der Wert der trace_flush_interval Option darf 300 Sekunden nicht überschreiten.

Service-Map-Prozessor

Für den Service-MAP-Prozessor gelten die folgenden Anforderungen und Einschränkungen:

• Der Wert der window_duration Option darf 300 Sekunden nicht überschreiten.

S3-Quelle

Das S3-Quell-Plugin hat die folgenden Anforderungen und Einschränkungen:

• Die aws Option ist erforderlich und muss sts_role_arn Optionen enthaltenregion.

• Der Wert der records_to_accumulate Option darf 200 nicht überschreiten.

• Der Wert der maximum_messages Option darf 10 nicht überschreiten.

• Falls angegeben, muss die disable_bucket_ownership_validation Option auf False gesetzt werden.

• Falls angegeben, muss die input_serialization Option auf gesetzt werdenparquet.