Concetti chiave Vantaggi Limitazioni Versioni di Data Prepper supportate Scalabilità delle pipeline Prezzi Supportato Regioni AWS Quote

OpenSearch Ingestione di Amazon

Amazon OpenSearch Ingestion è un raccoglitore di dati serverless completamente gestito che fornisce dati di log, metrici e tracciamento in tempo reale ai domini di Amazon OpenSearch Service e alle raccolte Serverless. OpenSearch

Con OpenSearch Ingestion, non è più necessario utilizzare soluzioni di terze parti come Logstash o Jaeger per inserire dati nei domini di servizio e nelle raccolte Serverless. OpenSearch OpenSearch Configurate i vostri produttori di dati per inviare dati a Ingestion. OpenSearch Quindi, invia automaticamente i dati al dominio o alla raccolta specificati. Puoi anche configurare OpenSearch Ingestion per trasformare i tuoi dati prima di consegnarli.

Inoltre, con OpenSearch Ingestion, non è necessario preoccuparsi del provisioning dei server, della gestione e dell'applicazione di patch al software o della scalabilità del cluster di server. Effettuate il provisioning delle pipeline di importazione direttamente all'interno di e Ingestion si occupa della AWS Management Console loro gestione e OpenSearch scalabilità.

OpenSearch Ingestion è un sottoinsieme di Amazon Service. OpenSearch È alimentato da Data Prepper, un raccoglitore di dati open source in grado di filtrare, arricchire, trasformare, normalizzare e aggregare i dati per l'analisi e la visualizzazione a valle.

OpenSearch Ingestion pipelines showing data flow from sources to Amazon OpenSearch Service domains.

Argomenti

Concetti chiave

Quando iniziate a usare OpenSearch Ingestion, potete trarre vantaggio dalla comprensione dei seguenti concetti:

Pipeline

Dal punto di vista OpenSearch dell'ingestione, una pipeline si riferisce a un unico raccoglitore di dati fornito che viene creato all'interno di Service. OpenSearch Puoi considerarlo come l'intero file di configurazione YAML, che include una o più pipeline secondarie. Per i passaggi per creare una pipeline di ingestione, consulta. Creazione di pipeline

Sotto-pipeline

Le sotto-pipeline vengono definite all'interno di un file di configurazione YAML. Ogni sub-pipeline è una combinazione di una sorgente, un buffer, zero o più processori e uno o più sink. È possibile definire più sotto-pipeline in un unico file YAML, ognuna con sorgenti, processori e sink unici. Per facilitare il monitoraggio con CloudWatch e altri servizi, ti consigliamo di specificare un nome di pipeline diverso da tutte le relative pipeline secondarie.

Puoi mettere insieme più subpipeline all'interno di un singolo file YAML, in modo che l'origine di una sottopipeline sia un'altra sottopipeline e il relativo sink sia una terza sottopipeline. Per vedere un esempio, consulta Utilizzo di una pipeline di OpenSearch ingestione con Collector OpenTelemetry .

Origine

Il componente di input di una sottopipeline. Definisce il meccanismo attraverso il quale una pipeline consuma i record. La fonte può consumare gli eventi ricevendoli tramite HTTPS o leggendo da endpoint esterni come Amazon S3. Esistono due tipi di fonti: basate su push e basate su pull. Le fonti basate su push, come i log HTTP e OTel, trasmettono i record agli endpoint di ingestione. Le fonti basate su pull, come Otel trace e S3, estraggono i dati dalla fonte.

Processors

Unità di elaborazione intermedie in grado di filtrare, trasformare e arricchire i record nel formato desiderato prima di pubblicarli nel sink. Il processore è un componente opzionale di una pipeline. Se non si definisce un processore, i record vengono pubblicati nel formato definito nel codice sorgente. È possibile avere più di un processore. Una pipeline esegue i processori nell'ordine in cui vengono definiti dall'utente.

Sink

Il componente di output di una sottopipeline. Definisce una o più destinazioni in cui una sub-pipeline pubblica i record. OpenSearch Ingestion supporta OpenSearch i domini di servizio come sink. Supporta anche le condutture secondarie come sink. Ciò significa che è possibile mettere insieme più sotto-pipeline all'interno di una singola pipeline di OpenSearch ingestione (file YAML). I cluster OpenSearch autogestiti non sono supportati come sink.

Buffer

La parte del processore che funge da strato tra la sorgente e il sink. Non è possibile configurare manualmente un buffer all'interno della pipeline. OpenSearch L'ingestione utilizza una configurazione di buffer predefinita.

Route

La parte di un processore che consente agli autori della pipeline di inviare solo eventi che soddisfano determinate condizioni a diversi sink.

Una definizione di subpipeline valida deve contenere una fonte e un sink. Per ulteriori informazioni su ciascuno di questi elementi della pipeline, consultate il riferimento alla configurazione.

Vantaggi dell'ingestione OpenSearch

OpenSearch L'ingestione presenta i seguenti vantaggi principali:

Elimina la necessità di gestire manualmente una pipeline autoalimentata.
Ridimensiona automaticamente le pipeline in base ai limiti di capacità definiti dall'utente.
Mantiene la pipeline aggiornata con patch di sicurezza e bug.
Offre la possibilità di collegare le pipeline al cloud privato virtuale (VPC) per un ulteriore livello di sicurezza.
Consente di interrompere e avviare le pipeline per controllare i costi.
Fornisce modelli di configurazione delle pipeline per i casi d'uso più diffusi per aiutarvi a iniziare a lavorare più velocemente.
Consente di interagire a livello di codice con le pipeline tramite i vari AWS SDK e l'API Ingestion. OpenSearch
Supporta il monitoraggio delle prestazioni in Amazon CloudWatch e la registrazione degli errori nei CloudWatch log.

Limitazioni

OpenSearch Ingestion presenta le seguenti limitazioni:

Puoi importare dati solo in domini con OpenSearch versione 1.0 o successiva oppure Elasticsearch 6.8 o versione successiva. Se utilizzi la fonte di traccia Otel, ti consigliamo di utilizzare Elasticsearch 7.9 o versione successiva in modo da poter utilizzare il plug-in Dashboards. OpenSearch
Se una pipeline sta scrivendo su un dominio di OpenSearch servizio all'interno di un VPC, la pipeline deve essere creata nello Regione AWS stesso dominio.
È possibile configurare solo una singola origine dati all'interno di una definizione di pipeline.
Non è possibile specificare OpenSearch cluster autogestiti come sink.
Non è possibile specificare un endpoint personalizzato come sink. Puoi comunque scrivere su un dominio con endpoint personalizzati abilitati, ma devi specificarne l'endpoint standard.
Non puoi specificare risorse all'interno delle Regioni opt-in come sorgenti o sink.
Esistono alcuni vincoli sui parametri che è possibile includere in una configurazione di pipeline. Per ulteriori informazioni, consulta Requisiti e vincoli di configurazione.

Versioni di Data Prepper supportate

OpenSearch Attualmente Ingestion supporta le seguenti versioni principali di Data Prepper:

Quando create una pipeline, utilizzate l'versionopzione richiesta per specificare la versione principale di Data Prepper da utilizzare. Ad esempio,. version: "2" OpenSearch Ingestion recupera l'ultima versione secondaria supportata di quella versione principale e fornisce la pipeline con quella versione. Per ulteriori informazioni, consulta Specificare la versione della pipeline.

Attualmente, alle pipeline OpenSearch di ingestione viene fornita la versione 2.7 di Data Prepper. Per informazioni, consulta le note di rilascio della versione 2.7. Per informazioni sulle funzionalità e le correzioni di bug presenti in ogni versione di Data Prepper, consulta la pagina Releases. Non tutte le versioni secondarie di una particolare versione principale sono supportate da Ingestion. OpenSearch

Quando si aggiorna il file di configurazione YAML di una pipeline, se è disponibile il supporto per una nuova versione secondaria di Data Prepper, OpenSearch Ingestion aggiorna automaticamente la pipeline all'ultima versione secondaria supportata della versione principale specificata nella configurazione della pipeline. Ad esempio, potreste avere version: "2" nella configurazione della pipeline e Ingestion inizialmente aveva fornito alla pipeline la versione 2.6.0. OpenSearch Quando viene aggiunto il supporto per la versione 2.7.0 e si apporta una modifica alla configurazione della pipeline, Ingestion aggiorna la pipeline alla versione 2.7.0. OpenSearch Questo processo mantiene la pipeline aggiornata con le ultime correzioni di bug e i miglioramenti delle prestazioni. OpenSearch Ingestion non può aggiornare la versione principale della pipeline a meno che non si modifichi manualmente l'versionopzione all'interno della configurazione della pipeline. Per ulteriori informazioni, consulta Aggiornamento delle pipeline di Amazon OpenSearch Ingestion.

Scalabilità delle pipeline

Non è necessario fornire e gestire autonomamente la capacità delle pipeline. OpenSearch Ingestion ridimensiona automaticamente la capacità della pipeline in base al carico di lavoro stimato, in base alle Ingestion OpenSearch Compute Unit (Ingestion OCU) minime e massime specificate.

Ogni OCU Ingestion è una combinazione di circa 8 GiB di memoria e 2 vCPU. È possibile specificare i valori OCU minimi e massimi per una pipeline e OpenSearch Ingestion ridimensiona automaticamente la capacità della pipeline in base a questi limiti.

Puoi specificare le seguenti valori:

Capacità minima: la pipeline può ridurre la capacità fino a questo numero di OCU di ingestione. La capacità minima specificata è anche la capacità iniziale di una pipeline.
Capacità massima: la pipeline può aumentare la capacità fino a questo numero di OCU di ingestione.

Edit capacity interface for pipeline capacity with min and max OCU settings.

Assicurati che la capacità massima di una pipeline sia sufficientemente elevata da gestire i picchi di carico di lavoro e che la capacità minima sia sufficientemente bassa da ridurre al minimo i costi quando la pipeline non è occupata. In base alle impostazioni, OpenSearch Ingestion ridimensiona automaticamente il numero di OCU di Ingestion per consentire alla pipeline di elaborare il carico di lavoro di importazione. In un momento specifico, ti vengono addebitati solo gli OCU di Ingestion utilizzati attivamente dalla tua pipeline.

La capacità allocata alla pipeline di OpenSearch Ingestion aumenta e diminuisce in base ai requisiti di elaborazione della pipeline e al carico generato dall'applicazione client. Quando la capacità è limitata, OpenSearch Ingestion aumenta allocando più unità di calcolo (GiB di memoria). Quando la pipeline elabora carichi di lavoro più piccoli o non elabora affatto i dati, può essere ridimensionata fino alle OCU di Ingestion minime configurate.

È possibile specificare un minimo di 1 OCU di ingestione, un massimo di 96 OCU di ingestione per pipeline stateless e un massimo di 48 OCU di ingestione per pipeline a stato. Si consiglia un minimo di 2 OCU di ingestione per sorgenti basate su push. Quando il buffering persistente è abilitato, è possibile specificare un minimo di 2 e un massimo di 384 OCU di ingestione.

Data una pipeline di log standard con un'unica fonte, un pattern grok semplice e un sink, ogni unità di elaborazione può supportare fino a 2 MiB al secondo. Per pipeline di log più complesse con più processori, ogni unità di calcolo potrebbe supportare un carico di importazione inferiore. In base alla capacità della pipeline e all'utilizzo delle risorse, inizia il processo di scalabilità di OpenSearch Ingestion.

Per garantire un'elevata disponibilità, gli OCU di Ingestion sono distribuiti tra zone di disponibilità (AZ). Il numero di AZ dipende dalla capacità minima specificata.

Ad esempio, se si specifica un minimo di 2 unità di calcolo, le OCU di ingestione utilizzate in un dato momento vengono distribuite uniformemente su 2 AZ. Se si specifica un minimo di 3 o più unità di calcolo, le OCU di Ingestione vengono distribuite uniformemente su 3 AZ. Si consiglia di effettuare il provisioning di almeno due OCU di ingestione per garantire una disponibilità del 99,9% per le pipeline di importazione.

Non ti vengono addebitati i costi per gli OCU di ingestione quando una pipeline si trova negli stati,, e. Create failed Creating Deleting Stopped

Per istruzioni su come configurare e recuperare le impostazioni di capacità per una pipeline, consulta. Creazione di pipeline

OpenSearch Prezzi di ingestione

In un momento specifico, paghi solo per il numero di OCU di Ingestion allocati a una pipeline, indipendentemente dal fatto che i dati scorrano attraverso la pipeline. OpenSearch Ingestion soddisfa immediatamente i carichi di lavoro aumentando o diminuendo la capacità della pipeline in base all'utilizzo.

Per i dettagli completi sui prezzi, consulta i prezzi OpenSearch di Amazon Service.

Supportato Regioni AWS

OpenSearch L'ingestione è disponibile in un sottoinsieme di Regioni AWS tale OpenSearch servizio è disponibile in. Per un elenco delle regioni supportate, consulta gli endpoint e le quote di Amazon OpenSearch Service nel. Riferimenti generali di AWS

OpenSearch Quote di ingestione

Per un elenco delle quote predefinite per le risorse di OpenSearch Ingestion, consulta le quote di Amazon OpenSearch Service.

Avvertimento JavaScript è disabilitato o non è disponibile nel tuo browser.

Per usare la documentazione AWS, JavaScript deve essere abilitato. Consulta le pagine della guida del browser per le istruzioni.

Convenzioni dei documenti

Nozioni di base

Configurazione di ruoli e utenti