View a markdown version of this page

Acquisisci pipeline in Amazon OpenSearch Senza server - Amazon OpenSearch Servizio

Le traduzioni sono generate tramite traduzione automatica. In caso di conflitto tra il contenuto di una traduzione e la versione originale in Inglese, quest'ultima prevarrà.

Acquisisci pipeline in Amazon OpenSearch Senza server

Una pipeline di ingest è una sequenza ordinata di processori che trasforma e arricchisce i documenti prima che vengano indicizzati. Ad esempio, una pipeline può rinominare un campo, normalizzare le maiuscole e minuscole di una stringa, analizzare un timestamp o generare incorporamenti vettoriali per la ricerca semantica.

È possibile definire una pipeline una volta e quindi applicarla ai documenti in arrivo come pipeline predefinita per un indice o su singole richieste di indicizzazione. Perché la pipeline viene eseguita in Amazon OpenSearch Senza server, i tuoi documenti ricevono le stesse trasformazioni indipendentemente dal client o dall'integrazione che li invia, il che riduce la necessità di una logica di preelaborazione personalizzata nelle tue applicazioni.

Con OpenSearch Serverless, puoi utilizzare un sottoinsieme della funzionalità della pipeline di acquisizione disponibile in OpenSearch. Questo argomento descrive i processori che OpenSearch Supporti serverless, le limitazioni rispetto all'implementazione open source e come creare e gestire le pipeline. Per una documentazione concettuale completa sulle pipeline di ingest, consulta Pipeline di ingestione sul OpenSearch Documentazione sito web.

Processori supportati

Con OpenSearch Senza server, puoi utilizzare un set curato di processori di acquisizione. OpenSearch Serverless rifiuta le pipeline che fanno riferimento a qualsiasi altro tipo di processore durante la creazione o l'aggiornamento della pipeline.

Processori di machine learning

I seguenti processori supportano i flussi di lavoro di ricerca neurale e arricchimento semantico. Richiedono una connessione al modello di machine learning configurata. Per ulteriori informazioni, consulta Configura la ricerca neurale e la ricerca ibrida su Serverless OpenSearch.

  • text_chunking — Divide il testo lungo in passaggi che rientrano nei limiti dei token dei modelli di incorporamento. Per ulteriori informazioni, consulta Processore di suddivisione del testo sul OpenSearch Documentazione sito web.

  • text_embedding — Genera incorporamenti vettoriali densi da campi di testo per la ricerca semantica. Per ulteriori informazioni, vedere Processore di incorporamento del testo sul OpenSearch Documentazione sito web.

  • text_image_embedding — Genera incorporamenti vettoriali combinati da campi di testo e immagine per la ricerca multimodale. Per ulteriori informazioni, vedere Processore di incorporamento di immagini di testo sul OpenSearch Documentazione sito web.

  • sparse_encoding — Genera rappresentazioni vettoriali sparse da campi di testo per la ricerca neurale sparsa. Per ulteriori informazioni, vedere Processore di codifica sparse sul OpenSearch Documentazione sito web.

  • ml_inference — Richiama un modello di machine learning configurato con mappatura dei campi di input e output personalizzata. Questo processore generico funziona con qualsiasi modello configurato e può essere eseguito sia nelle pipeline di ingest che in quelle di ricerca. Per ulteriori informazioni, consulta Pipeline di inferenza ML in Amazon OpenSearch Senza server.

Processori di trasformazione dei dati

I seguenti processori eseguono trasformazioni generiche sui campi del documento.

Elaboratore Description
copy Copia il valore di un campo di origine in un campo di destinazione. Il campo di origine viene mantenuto.
date Analizza una stringa di data da un campo e scrive un timestamp canonico in un campo di destinazione.
dot_expander Espande il nome di un campo che contiene punti in una struttura di oggetti annidata.
join Unisce gli elementi di un campo di matrice in un'unica stringa con un separatore.
lowercase Converte un campo stringa in lettere minuscole.
remove Rimuove uno o più campi dal documento.
rename Rinomina un campo.
set Imposta un campo su un valore statico. Per copiare il valore di un altro campo, usa copy processore invece.
trim Rimuove gli spazi bianchi iniziali e finali da un campo stringa.
uppercase Converte un campo stringa in lettere maiuscole.

Per i dettagli di configurazione per ciascun processore, vedere Processori Ingest sul OpenSearch Documentazione sito web.

Limitazioni

Inserisci pipeline in OpenSearch I serverless presentano le seguenti limitazioni rispetto all'open source OpenSearch implementazione:

  • Nessuno scripting. Il script il processore e lo scripting Painless non sono supportati nelle pipeline di ingest.

  • Nessun modello Moustache. I valori di configurazione del processore devono essere valori letterali. Non puoi usare frammenti di modello Mustache come {{{field_name}}} per fare riferimento al valore di un altro campo. Ad esempio, set il processore scrive solo valori statici. Per copiare un valore da un campo a un altro, usa copy processore.

  • Solo processori supportati. OpenSearch Serverless rifiuta una richiesta di creazione o aggiornamento di una pipeline che contiene un tipo di processore non elencato in Processori supportati.

  • Latenza di propagazione. Aspettatevi fino a 15 secondi di latenza prima che una pipeline appena creata o aggiornata abbia effetto.

Prezzi

Le pipeline di inserimento vengono eseguite sul computer che elabora le richieste di indicizzazione per la raccolta. Il tempo di elaborazione consumato dalle pipeline viene conteggiato ai fini dell'indicizzazione OpenSearch Unità di calcolo (OCU) per la tua raccolta, allo stesso modo delle altre attività di indicizzazione. Le pipeline con più processori o con processori ad alta intensità di calcolo consumano una maggiore capacità di indicizzazione rispetto alle pipeline semplici. Per ulteriori informazioni sulla scalabilità e sulla fatturazione della capacità di indicizzazione, consulta Gestione dei limiti di capacità per Amazon OpenSearch Senza server e Amazon OpenSearch Prezzi del servizio.

Processori di machine learning come text_embedding richiamate inoltre il modello remoto che avete configurato e il fornitore del modello fatturerà separatamente l'inferenza del modello.

Autorizzazioni richieste

Le operazioni della pipeline di Ingest si basano su quanto segue OpenSearch Autorizzazioni delle policy di accesso ai dati senza server. Le autorizzazioni si applicano a collection tipo di risorsa.

  • aoss:CreateCollectionItems — Creare o aggiornare una pipeline.

  • aoss:DescribeCollectionItems — Recupera, elenca e simula le pipeline.

  • aoss:DeleteCollectionItems — Eliminare una pipeline.

L'esempio seguente di politica di accesso ai dati concede all'utente principale l'autorizzazione a gestire le pipeline in una raccolta. Sostituisci collection-name con il nome della tua collezione, account-id con il tuo AWS ID dell'account e role-name con il nome del ruolo IAM che gestisce le pipeline.

[ { "Description": "Manage pipelines", "Rules": [ { "ResourceType": "collection", "Resource": ["collection/collection-name"], "Permission": [ "aoss:CreateCollectionItems", "aoss:DescribeCollectionItems", "aoss:DeleteCollectionItems" ] } ], "Principal": [ "arn:aws:iam::account-id:role/role-name" ] } ]

Per la mappatura completa di OpenSearch Operazioni API per OpenSearch Autorizzazioni serverless, vedi Operazioni e plugin supportati in Amazon Serverless OpenSearch.

Lavorare con le pipeline di ingest

Crei e gestisci le pipeline di ingest con OpenSearch API REST rispetto al tuo endpoint di raccolta. Tutte le richieste devono essere firmate con AWS Signature Version 4 utilizzando il nome del servizio aoss. Per ulteriori informazioni, consulta Firma delle richieste HTTP con altri client.

Creare o aggiornare una pipeline

Per creare una pipeline, invia una PUT richiesta a _ingest/pipeline endpoint con il nome della pipeline e un elenco ordinato di processori. I documenti passano attraverso i processori nell'ordine in cui sono definiti. Per aggiornare una pipeline esistente, invia la stessa richiesta con la definizione modificata.

L'esempio seguente crea una pipeline che taglia un campo, lo riduce in minuscolo e lo rinomina. Sostituisci my-pipeline con il nome della tua pipeline.

PUT _ingest/pipeline/my-pipeline { "description": "Normalizes the category field", "processors": [ { "trim": { "field": "category" } }, { "lowercase": { "field": "category" } }, { "rename": { "field": "category", "target_field": "category_normalized" } } ] }

La richiesta restituisce la seguente risposta:

{ "acknowledged": true }

L'esempio seguente crea una pipeline che suddivide in blocchi un campo di testo e genera incorporamenti vettoriali per ogni blocco. Richiede un modello configurato. Per ulteriori informazioni, consulta Configura la ricerca neurale e la ricerca ibrida su Serverless OpenSearch.

PUT _ingest/pipeline/nlp-ingest-pipeline { "description": "Chunks text and generates embeddings", "processors": [ { "text_chunking": { "algorithm": { "fixed_token_length": { "token_limit": 384 } }, "field_map": { "text-field": "text-chunks-field" } } }, { "text_embedding": { "model_id": "my-model-id", "field_map": { "text-chunks-field": "embedding-field" } } } ] }

Per ulteriori informazioni, vedere Crea una pipeline sul OpenSearch Documentazione sito web.

Procurati una pipeline

Per recuperare la definizione di una pipeline, inviate un GET richiesta con il nome della pipeline:

GET _ingest/pipeline/my-pipeline

La richiesta restituisce la definizione della pipeline:

{ "my-pipeline": { "description": "Normalizes the category field", "processors": [ { "trim": { "field": "category" } }, { "lowercase": { "field": "category" } }, { "rename": { "field": "category", "target_field": "category_normalized" } } ] } }

Per ulteriori informazioni, vedere Ottieni una pipeline sul OpenSearch Documentazione sito web.

Elenca le pipeline

Per elencare tutte le pipeline di una raccolta, invia un GET richiesta senza un nome di pipeline:

GET _ingest/pipeline

La richiesta restituisce le definizioni di tutte le pipeline della raccolta, digitate in base al nome della pipeline.

Simula una pipeline

Prima di applicare una pipeline al traffico in tempo reale, potete simularla sulla base di documenti di esempio e ispezionare l'output trasformato. Per simulare una pipeline esistente, inviate un POST richiesta con il nome della pipeline e i documenti di esempio:

POST _ingest/pipeline/my-pipeline/_simulate { "docs": [ { "_index": "my-index", "_id": "1", "_source": { "category": " Home Appliances " } } ] }

La risposta mostra ogni documento come verrebbe indicizzato dopo l'esecuzione della pipeline. In questo esempio, la pipeline ha tagliato e ridotto in minuscolo i category campo e lo ha rinominato in category_normalized:

{ "docs": [ { "doc": { "_index": "my-index", "_id": "1", "_source": { "category_normalized": "home appliances" }, "_ingest": { "timestamp": "2026-10-28T16:23:40.895265415Z" } } } ] }

Puoi anche simulare una definizione di pipeline che non hai ancora creato includendo la definizione nel corpo della richiesta:

POST _ingest/pipeline/_simulate { "pipeline": { "processors": [ { "lowercase": { "field": "category" } } ] }, "docs": [ { "_index": "my-index", "_id": "1", "_source": { "category": "Home Appliances" } } ] }

Per ulteriori informazioni, consulta Simula una pipeline sul OpenSearch Documentazione sito web.

Elimina una pipeline

Per eliminare una pipeline che non ti serve più, invia un DELETE richiesta con il nome della pipeline:

DELETE _ingest/pipeline/my-pipeline

La richiesta restituisce la seguente risposta:

{ "acknowledged": true }

Applica una pipeline alle richieste di indicizzazione

Per eseguire una pipeline su ogni documento indicizzato in un indice, imposta il index.default_pipeline impostazione quando crei l'indice:

PUT my-index { "settings": { "index.default_pipeline": "my-pipeline" } }

La richiesta restituisce la seguente risposta:

{ "acknowledged": true, "shards_acknowledged": false, "index": "my-index" }

In alternativa, specifica la pipeline su una singola indicizzazione o richiesta in blocco con il pipeline parametro di interrogazione:

POST my-index/_doc?pipeline=my-pipeline { "category": " Home Appliances " }

La risposta conferma che il documento è stato indicizzato:

{ "_index": "my-index", "_id": "93VTg6EBtHTIBjFym5yW", "_version": 1, "result": "created", "_shards": { "total": 0, "successful": 0, "failed": 0 }, "_seq_no": 0, "_primary_term": 0 }
Nota

A pipeline il parametro di interrogazione ha la precedenza su default_pipeline impostazione dell'indice per quella richiesta. Le due cose non si combinano. Se una funzionalità di servizio come l'arricchimento semantico automatico gestisce la pipeline predefinita per l'indice, sovrascriverla o sostituirla può impedire l'esecuzione dell'elaborazione di tale funzionalità.