Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.
Plugin e opzioni supportati per le pipeline di Amazon OpenSearch Ingestion
Amazon OpenSearch Ingestion supporta un sottoinsieme di sorgenti, processori e sink rispetto all'open source Data Prepper. Inoltre, OpenSearch Ingestion impone alcuni vincoli alle opzioni disponibili per ogni plug-in supportato. Le sezioni seguenti descrivono i plugin e le opzioni associate supportati da Ingestion. OpenSearch
Nota
OpenSearch Ingestion non supporta alcun plugin buffer perché configura automaticamente un buffer predefinito. Si riceve un errore di convalida se si include un buffer nella configurazione della pipeline.
Argomenti
Plugin supportati
OpenSearch Ingestion supporta i seguenti plugin Data Prepper:
Fonti:
Processori:
-
Evento di mutazione
(serie di processori) -
Stringa mutata (serie
di processori)
Lavelli:
-
OpenSearch
(supporta OpenSearch Service, OpenSearch Serverless ed Elasticsearch 6.8 o versioni successive)
Codec Sink:
Processori stateless e processori stateful
I processori stateless eseguono operazioni come trasformazioni e filtri, mentre i processori stateful eseguono operazioni come le aggregazioni, che ricordano il risultato dell'esecuzione precedente. OpenSearch Ingestion supporta i processori stateful Aggregate e Service-map.
Per le pipeline che contengono solo processori stateless, il limite di capacità massima è 96 Ingestion. OCUs Se una pipeline contiene processori con stato, il limite di capacità massima è 48 Ingestion. OCUs Tuttavia, se una pipeline ha il buffering persistente abilitato, può avere un massimo di 384 Ingestion OCUs con solo processori stateless o 192 Ingestion se contiene processori con stato. OCUs Per ulteriori informazioni, consulta Scalabilità delle pipeline.
Il riconoscimento E è supportato solo per i processori stateless. nd-to-end Per ulteriori informazioni, consulta End-to-end ) Riconoscimento.
Requisiti e vincoli di configurazione
Se non diversamente specificato di seguito, tutte le opzioni descritte nel riferimento alla configurazione di Data Prepper per i plugin supportati sopra elencati sono consentite nelle pipeline di Ingestion. OpenSearch Le sezioni seguenti spiegano i vincoli che Ingestion impone a determinate opzioni del plug-in. OpenSearch
Nota
OpenSearch Ingestion non supporta alcun plugin buffer perché configura automaticamente un buffer predefinito. Si riceve un errore di convalida se si include un buffer nella configurazione della pipeline.
Molte opzioni sono configurate e gestite internamente da OpenSearch Ingestion, come e. authentication
acm_certificate_arn
Altre opzioni, come thread_count
erequest_timeout
, hanno un impatto sulle prestazioni se modificate manualmente. Pertanto, questi valori sono impostati internamente per garantire prestazioni ottimali delle pipeline.
Infine, alcune opzioni non possono essere passate a OpenSearch Ingestion, ad esempio ism_policy_file
andsink_template
, perché sono file locali se eseguite in Data Prepper open source. Questi valori non sono supportati.
Argomenti
Opzioni generali della pipeline
Le seguenti opzioni generali di pipeline
-
workers
-
delay
Processore Grok
Le seguenti opzioni del processore Grok
-
patterns_directories
-
patterns_files_glob
HTTPfonte
Il plugin HTTP
-
L'
path
opzione è obbligatoria. Il percorso è una stringa come/log/ingest
, che rappresenta il URI percorso per l'inserimento dei log. Questo percorso definisce URI quello da utilizzare per inviare dati alla pipeline. Ad esempiohttps://log-pipeline.us-west-2.osis.amazonaws.com
. Il percorso deve iniziare con una barra (/) e può contenere i caratteri speciali '-', '_', ' . 'e'/', oltre al/log/ingest
${pipelineName}
segnaposto. -
Le seguenti opzioni di HTTP origine sono impostate da OpenSearch Ingestion e non sono supportate nelle configurazioni della pipeline:
-
port
-
ssl
-
ssl_key_file
-
ssl_certificate_file
-
aws_region
-
authentication
-
unauthenticated_health_check
-
use_acm_certificate_for_ssl
-
thread_count
-
request_timeout
-
max_connection_count
-
max_pending_requests
-
health_check_service
-
acm_private_key_password
-
acm_certificate_timeout_millis
-
acm_certificate_arn
-
OpenSearch lavandino
Il plugin OpenSearch
-
L'
aws
opzione è obbligatoria e deve contenere le seguenti opzioni:-
sts_role_arn
-
region
-
hosts
-
serverless
(se il sink è una raccolta OpenSearch Serverless)
-
-
L'
sts_role_arn
opzione deve puntare allo stesso ruolo per ogni sink all'interno di un file di YAML definizione. -
L'
hosts
opzione deve specificare un endpoint OpenSearch del dominio di servizio o un endpoint di raccolta OpenSearch Serverless. Non è possibile specificare un endpoint personalizzato per un dominio; deve essere l'endpoint standard. -
Se l'
hosts
opzione è un endpoint di raccolta senza server, è necessario impostarla su.serverless
true
Inoltre, se il file di YAML definizione contiene l'index_type
opzione, questa deve essere impostata sumanagement_disabled
, altrimenti la convalida fallisce. -
Le seguenti opzioni non sono supportate:
-
username
-
password
-
cert
-
proxy
-
dlq_file
- Se desideri scaricare gli eventi non riusciti su una coda di lettere morte (DLQ), devi usare l'dlq
opzione e specificare un bucket S3. -
ism_policy_file
-
socket_timeout
-
template_file
-
insecure
-
bulk_size
-
OTelmetrics source, OTel trace source e logs source OTel
I plugin OTelmetrics
-
L'
path
opzione è obbligatoria. Il percorso è una stringa come/log/ingest
, che rappresenta il URI percorso per l'inserimento dei log. Questo percorso definisce URI quello da utilizzare per inviare dati alla pipeline. Ad esempiohttps://log-pipeline.us-west-2.osis.amazonaws.com
. Il percorso deve iniziare con una barra (/) e può contenere i caratteri speciali '-', '_', ' . 'e'/', oltre al/log/ingest
${pipelineName}
segnaposto. -
Le seguenti opzioni sono impostate da OpenSearch Ingestion e non sono supportate nelle configurazioni della pipeline:
-
port
-
ssl
-
sslKeyFile
-
sslKeyCertChainFile
-
authentication
-
unauthenticated_health_check
-
useAcmCertForSSL
-
unframed_requests
-
proto_reflection_service
-
thread_count
-
request_timeout
-
max_connection_count
-
acmPrivateKeyPassword
-
acmCertIssueTimeOutMillis
-
health_check_service
-
acmCertificateArn
-
awsRegion
-
OTelprocessore trace group
Il processore del gruppo di OTel tracce
-
L'
aws
opzione è obbligatoria e deve contenere le seguenti opzioni:-
sts_role_arn
-
region
-
hosts
-
-
L'
sts_role_arn
opzione specifica lo stesso ruolo del ruolo della pipeline specificato nella configurazione del OpenSearch sink. -
Le
insecure
opzioniusername
password
,cert
, e non sono supportate. -
L'
aws_sigv4
opzione è obbligatoria e deve essere impostata su true. -
L'
serverless
opzione all'interno del plugin OpenSearch sink non è supportata. Il processore Otel trace group attualmente non funziona con le raccolte OpenSearch Serverless. -
Il numero di
otel_trace_group
processori all'interno del corpo di configurazione della pipeline non può superare 8.
OTelprocessore di traccia
Il processore di OTeltraccia
-
Il valore dell'
trace_flush_interval
opzione non può superare i 300 secondi.
Processore Service-map
Il processore Service-map
-
Il valore dell'
window_duration
opzione non può superare i 300 secondi.
Fonte S3
Il plugin sorgente S3
-
L'
aws
opzione è obbligatoria e deve contenereregion
sts_role_arn
opzioni. -
Il valore dell'
records_to_accumulate
opzione non può superare 200. -
Il valore dell'
maximum_messages
opzione non può superare 10. -
Se specificata, l'
disable_bucket_ownership_validation
opzione deve essere impostata su false. -
Se specificata, l'
input_serialization
opzione deve essere impostata suparquet
.