Plugin e opzioni supportati per le pipeline di Amazon OpenSearch Ingestion

Amazon OpenSearch Ingestion supporta un sottoinsieme di sorgenti, processori e sink rispetto all'open source Data Prepper. Inoltre, OpenSearch Ingestion impone alcuni vincoli alle opzioni disponibili per ogni plug-in supportato. Le sezioni seguenti descrivono i plugin e le opzioni associate supportati da Ingestion. OpenSearch

Nota

OpenSearch Ingestion non supporta alcun plugin buffer perché configura automaticamente un buffer predefinito. Si riceve un errore di convalida se si include un buffer nella configurazione della pipeline.

Plugin supportati

OpenSearch Ingestion supporta i seguenti plugin Data Prepper:

Fonti:

• Amazon DocumentDB

• DynamoDB

• OpenSearch

• HTTP

• Kafka

• OTelregistri

• OTelmetriche

• OTeltraccia

• S3

• Flusso di dati Amazon Kinesis

Processori:

• Aggregazione

• Rilevatore di anomalie

• CSV

• Data

• Decomprimi

• Sezionare

• Elimina gli eventi

• IP geografico

• Grok

• Valore chiave

• Mappa da elencare

• Evento di mutazione (serie di processori)

• Stringa mutata (serie di processori)

• Offuscare

• OTelmetriche

• OTelgruppo di tracciamento

• OTeltraccia

• Analizza Ion

• Analizza JSON

• Analizza XML

• Seleziona le voci

• Mappa dei servizi

• Trace peer forwarder

• Troncare

• Agente utente

Lavelli:

• OpenSearch(supporta OpenSearch Service, OpenSearch Serverless ed Elasticsearch 6.8 o versioni successive)

• S3

Codec Sink:

• Avro

• NDJSON

• JSON

• Parquet

Processori stateless e processori stateful

I processori stateless eseguono operazioni come trasformazioni e filtri, mentre i processori stateful eseguono operazioni come le aggregazioni, che ricordano il risultato dell'esecuzione precedente. OpenSearch Ingestion supporta i processori stateful Aggregate e Service-map. Tutti gli altri processori supportati sono stateless.

Per le pipeline che contengono solo processori stateless, il limite di capacità massima è 96 Ingestion. OCUs Se una pipeline contiene processori con stato, il limite di capacità massima è 48 Ingestion. OCUs Tuttavia, se una pipeline ha il buffering persistente abilitato, può avere un massimo di 384 Ingestion OCUs con solo processori stateless o 192 Ingestion se contiene processori con stato. OCUs Per ulteriori informazioni, consulta Scalabilità delle pipeline.

End-to-end il riconoscimento è supportato solo per i processori stateless. Per ulteriori informazioni, consulta End-to-end riconoscimento.

Requisiti e vincoli di configurazione

Se non diversamente specificato di seguito, tutte le opzioni descritte nel riferimento alla configurazione di Data Prepper per i plugin supportati sopra elencati sono consentite nelle pipeline di Ingestion. OpenSearch Le sezioni seguenti spiegano i vincoli che Ingestion impone a determinate opzioni del plug-in. OpenSearch

Nota

OpenSearch Ingestion non supporta alcun plugin buffer perché configura automaticamente un buffer predefinito. Si riceve un errore di convalida se si include un buffer nella configurazione della pipeline.

Molte opzioni sono configurate e gestite internamente da OpenSearch Ingestion, come e. authentication acm_certificate_arn Altre opzioni, come thread_count erequest_timeout, hanno un impatto sulle prestazioni se modificate manualmente. Pertanto, questi valori sono impostati internamente per garantire prestazioni ottimali delle pipeline.

Infine, alcune opzioni non possono essere passate a OpenSearch Ingestion, ad esempio ism_policy_file andsink_template, perché sono file locali se eseguite in Data Prepper open source. Questi valori non sono supportati.

Argomenti

• Opzioni generali della pipeline
• Processore Grok
• HTTPfonte
• OpenSearch lavandino
• OTelmetrics source, OTel trace source e logs source OTel
• OTelprocessore trace group
• OTelprocessore di traccia
• Processore Service-map
• Fonte S3

Opzioni generali della pipeline

Le seguenti opzioni generali di pipeline sono impostate da OpenSearch Ingestion e non sono supportate nelle configurazioni della pipeline:

• workers

• delay

Processore Grok

Le seguenti opzioni del processore Grok non sono supportate:

• patterns_directories

• patterns_files_glob

HTTPfonte

Il plugin HTTPsorgente ha i seguenti requisiti e vincoli:

• L'pathopzione è obbligatoria. Il percorso è una stringa come/log/ingest, che rappresenta il URI percorso per l'inserimento dei log. Questo percorso definisce URI quello da utilizzare per inviare dati alla pipeline. Ad esempio https://log-pipeline.us-west-2.osis.amazonaws.com/log/ingest. Il percorso deve iniziare con una barra (/) e può contenere i caratteri speciali '-', '_', ' . 'e'/', oltre al ${pipelineName} segnaposto.

• Le seguenti opzioni di HTTP origine sono impostate da OpenSearch Ingestion e non sono supportate nelle configurazioni della pipeline:

  • port

  • ssl

  • ssl_key_file

  • ssl_certificate_file

  • aws_region

  • authentication

  • unauthenticated_health_check

  • use_acm_certificate_for_ssl

  • thread_count

  • request_timeout

  • max_connection_count

  • max_pending_requests

  • health_check_service

  • acm_private_key_password

  • acm_certificate_timeout_millis

  • acm_certificate_arn

OpenSearch lavandino

Il plugin OpenSearchsink presenta i seguenti requisiti e limitazioni.

• L'awsopzione è obbligatoria e deve contenere le seguenti opzioni:

  • sts_role_arn

  • region

  • hosts

  • serverless(se il sink è una raccolta OpenSearch Serverless)

• L'sts_role_arnopzione deve puntare allo stesso ruolo per ogni sink all'interno di un file di YAML definizione.

• L'hostsopzione deve specificare un endpoint OpenSearch del dominio di servizio o un endpoint di raccolta OpenSearch Serverless. Non è possibile specificare un endpoint personalizzato per un dominio; deve essere l'endpoint standard.

• Se l'hostsopzione è un endpoint di raccolta senza server, è necessario impostarla su. serverless true Inoltre, se il file di YAML definizione contiene l'index_typeopzione, questa deve essere impostata sumanagement_disabled, altrimenti la convalida fallisce.

• Le seguenti opzioni non sono supportate:

  • username

  • password

  • cert

  • proxy

  • dlq_file- Se desideri scaricare gli eventi non riusciti su una coda di lettere morte (DLQ), devi usare l'dlqopzione e specificare un bucket S3.

  • ism_policy_file

  • socket_timeout

  • template_file

  • insecure

  • bulk_size

OTelmetrics source, OTel trace source e logs source OTel

I plugin OTelmetrics source, OTeltrace source e OTellogs source presentano i seguenti requisiti e limitazioni:

• L'pathopzione è obbligatoria. Il percorso è una stringa come/log/ingest, che rappresenta il URI percorso per l'inserimento dei log. Questo percorso definisce URI quello da utilizzare per inviare dati alla pipeline. Ad esempio https://log-pipeline.us-west-2.osis.amazonaws.com/log/ingest. Il percorso deve iniziare con una barra (/) e può contenere i caratteri speciali '-', '_', ' . 'e'/', oltre al ${pipelineName} segnaposto.

• Le seguenti opzioni sono impostate da OpenSearch Ingestion e non sono supportate nelle configurazioni della pipeline:

  • port

  • ssl

  • sslKeyFile

  • sslKeyCertChainFile

  • authentication

  • unauthenticated_health_check

  • useAcmCertForSSL

  • unframed_requests

  • proto_reflection_service

  • thread_count

  • request_timeout

  • max_connection_count

  • acmPrivateKeyPassword

  • acmCertIssueTimeOutMillis

  • health_check_service

  • acmCertificateArn

  • awsRegion

OTelprocessore trace group

Il processore del gruppo di OTel tracce presenta i seguenti requisiti e limitazioni:

• L'awsopzione è obbligatoria e deve contenere le seguenti opzioni:

  • sts_role_arn

  • region

  • hosts

• L'sts_role_arnopzione specifica lo stesso ruolo del ruolo della pipeline specificato nella configurazione del OpenSearch sink.

• Le insecure opzioni usernamepassword,cert, e non sono supportate.

• L'aws_sigv4opzione è obbligatoria e deve essere impostata su true.

• L'serverlessopzione all'interno del plugin OpenSearch sink non è supportata. Il processore Otel trace group attualmente non funziona con le raccolte OpenSearch Serverless.

• Il numero di otel_trace_group processori all'interno del corpo di configurazione della pipeline non può superare 8.

OTelprocessore di traccia

Il processore di OTeltraccia presenta i seguenti requisiti e limitazioni:

• Il valore dell'trace_flush_intervalopzione non può superare i 300 secondi.

Processore Service-map

Il processore Service-map presenta i seguenti requisiti e limitazioni:

• Il valore dell'window_durationopzione non può superare i 300 secondi.

Fonte S3

Il plugin sorgente S3 presenta i seguenti requisiti e limitazioni:

• L'awsopzione è obbligatoria e deve contenere region sts_role_arn opzioni.

• Il valore dell'records_to_accumulateopzione non può superare 200.

• Il valore dell'maximum_messagesopzione non può superare 10.

• Se specificata, l'disable_bucket_ownership_validationopzione deve essere impostata su false.

• Se specificata, l'input_serializationopzione deve essere impostata suparquet.