Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.
Pipelines in Amazon aufnehmen OpenSearch Serverlos
Eine Ingest-Pipeline ist eine geordnete Abfolge von Verarbeiter das transformiert und bereichert Dokumente, bevor sie indexiert werden. Beispielsweise kann eine Pipeline ein Feld umbenennen, die Groß- und Kleinschreibung einer Zeichenfolge normalisieren, einen Zeitstempel analysieren oder Vektoreinbettungen für die semantische Suche generieren.
Sie definieren eine Pipeline einmal und wenden sie dann auf eingehende Dokumente an, entweder als Standardpipeline für einen Index oder auf einzelne Indexierungsanfragen. Weil die Pipeline in Amazon läuft OpenSearch Ohne Server erhalten Ihre Dokumente dieselben Transformationen, unabhängig davon, welcher Client oder welche Integration sie sendet, wodurch der Bedarf an benutzerdefinierter Vorverarbeitungslogik in Ihren Anwendungen reduziert wird.
Mit OpenSearch Serverlos können Sie eine Teilmenge der Ingest-Pipeline-Funktionen verwenden, die in verfügbar sind OpenSearch. In diesem Thema werden die Prozessoren beschrieben, die OpenSearch Serverless unterstützt die Einschränkungen im Vergleich zur Open-Source-Implementierung sowie die Erstellung und Verwaltung von Pipelines. Eine vollständige konzeptionelle Dokumentation zu Ingest-Pipelines finden Sie unter Pipelines aufnehmen
Themen
Unterstützte Prozessoren
Mit OpenSearch Serverlos können Sie ein kuratiertes Set von Ingest-Prozessoren verwenden. OpenSearch Serverless lehnt Pipelines ab, die auf einen anderen Prozessortyp verweisen, wenn Sie die Pipeline erstellen oder aktualisieren.
Prozessoren für maschinelles Lernen
Die folgenden Prozessoren unterstützen Workflows für neuronale Suche und semantische Anreicherung. Sie benötigen eine konfigurierte Modellverbindung für maschinelles Lernen. Weitere Informationen finden Sie unter Konfiguration der neuronalen Suche und der Hybridsuche auf OpenSearch Serverless.
-
text_chunking— Teilt langen Text in Passagen auf, die innerhalb der Token-Grenzen von Einbettungsmodellen liegen. Weitere Informationen finden Sie unter Prozessor zum Aufteilen von Textauf dem OpenSearch Dokumentation Webseite. -
text_embedding— Generiert dichte Vektoreinbettungen aus Textfeldern für die semantische Suche. Weitere Informationen finden Sie unter Prozessor für Texteinbettungauf dem OpenSearch Dokumentation Webseite. -
text_image_embedding— Generiert kombinierte Vektoreinbettungen aus Text- und Bildfeldern für die multimodale Suche. Weitere Informationen finden Sie unter Prozessor zum Einbetten von Text und Bildernauf dem OpenSearch Dokumentation Webseite. -
sparse_encoding— Generiert spärliche Vektordarstellungen aus Textfeldern für die neuronale Suche mit geringer Dichte. Weitere Informationen finden Sie unter Prozessor für spärliche Kodierungauf dem OpenSearch Dokumentation Webseite. -
ml_inference— Ruft ein konfiguriertes Modell für maschinelles Lernen mit benutzerdefinierter Eingabe- und Ausgabefeldzuordnung auf. Dieser Allzweckprozessor funktioniert mit jedem konfigurierten Modell und kann sowohl in Ingest- als auch in Such-Pipelines ausgeführt werden. Weitere Informationen finden Sie unter ML-Inferenz-Pipelines in Amazon OpenSearch Serverlos.
Prozessoren für die Datentransformation
Die folgenden Prozessoren führen allgemeine Transformationen für Dokumentfelder durch.
| Prozessor | Description |
|---|---|
copy |
Kopiert den Wert eines Quellfeldes in ein Zielfeld. Das Quellfeld wird beibehalten. |
date |
Analysiert eine Datumszeichenfolge aus einem Feld und schreibt einen kanonischen Zeitstempel in ein Zielfeld. |
dot_expander |
Erweitert einen Feldnamen, der Punkte enthält, zu einer verschachtelten Objektstruktur. |
join |
Verbindet die Elemente eines Array-Feldes mit einem Trennzeichen zu einer einzigen Zeichenfolge. |
lowercase |
Konvertiert ein Zeichenfolgenfeld in Kleinbuchstaben. |
remove |
Entfernt ein oder mehrere Felder aus dem Dokument. |
rename |
Benennt ein Feld um. |
set |
Setzt ein Feld auf einen statischen Wert. Um den Wert eines anderen Felds zu kopieren, verwenden Sie den copy Prozessor stattdessen. |
trim |
Entfernt führende und nachfolgende Leerzeichen aus einem Zeichenfolgenfeld. |
uppercase |
Konvertiert ein Zeichenfolgenfeld in Großbuchstaben. |
Einzelheiten zur Konfiguration der einzelnen Prozessoren finden Sie unter Prozessoren aufnehmen
Einschränkungen
Pipelines aufnehmen in OpenSearch Serverless haben im Vergleich zu Open-Source-Produkten die folgenden Einschränkungen OpenSearch Implementierung:
-
Kein Scripting. Das
scriptProzessor und Painless Scripting werden in Ingest-Pipelines nicht unterstützt. -
Keine Schnurrbartvorlagen. Die Werte für die Prozessorkonfiguration müssen Literalwerte sein. Sie können keine Schnurrbart-Template-Schnipsel wie
{{{field_name}}}um auf den Wert eines anderen Feldes zu verweisen. Zum BeispielsetProzessor schreibt nur statische Werte. Um einen Wert von einem Feld in ein anderes zu kopieren, verwenden Sie dencopyProzessor. -
Nur unterstützte Prozessoren. OpenSearch Serverless lehnt eine Anfrage zum Erstellen oder Aktualisieren einer Pipeline ab, die einen Prozessortyp enthält, der nicht in aufgeführt ist Unterstützte Prozessoren.
-
Latenz bei der Ausbreitung. Rechnen Sie mit einer Latenz von bis zu 15 Sekunden, bevor eine neu erstellte oder aktualisierte Pipeline wirksam wird.
Preisgestaltung
Ingest-Pipelines werden auf dem Computer ausgeführt, der Indexierungsanforderungen für Ihre Sammlung verarbeitet. Die Verarbeitungszeit, die Ihre Pipelines in Anspruch nehmen, wird bei der Indizierung angerechnet OpenSearch Berechnen Sie Einheiten (OCUs) für Ihre Sammlung auf die gleiche Weise wie bei anderen Indizierungsaktivitäten. Pipelines mit mehr Prozessoren oder mit rechenintensiven Prozessoren verbrauchen mehr Indizierungskapazität als einfache Pipelines. Weitere Informationen zur Skalierung und Abrechnung der Indexierungskapazität finden Sie unter Verwaltung von Kapazitätsgrenzen für Amazon OpenSearch Serverlos und Amazon OpenSearch Preisgestaltung für Dienstleistungen
Prozessoren für maschinelles Lernen wie text_embedding Rufen Sie zusätzlich das von Ihnen konfigurierte Remote-Modell auf, und der Modellanbieter berechnet die Modellinferenz separat.
Erforderliche Berechtigungen
Der Betrieb der Ingest-Pipeline sieht wie folgt aus OpenSearch Berechtigungen für serverlosen Datenzugriff. Die Berechtigungen gelten für collection Ressourcentyp.
-
aoss:CreateCollectionItems— Erstellen oder aktualisieren Sie eine Pipeline. -
aoss:DescribeCollectionItems— Pipelines abrufen, auflisten und simulieren. -
aoss:DeleteCollectionItems— Löscht eine Pipeline.
Das folgende Beispiel für eine Datenzugriffsrichtlinie gewährt einem Hauptbenutzer die Berechtigung, Pipelines in einer Sammlung zu verwalten. Ersetzen collection-name mit dem Namen deiner Sammlung, account-id mit deinem AWS Konto-ID und role-name mit dem Namen der IAM-Rolle, die Pipelines verwaltet.
[ { "Description": "Manage pipelines", "Rules": [ { "ResourceType": "collection", "Resource": ["collection/collection-name"], "Permission": [ "aoss:CreateCollectionItems", "aoss:DescribeCollectionItems", "aoss:DeleteCollectionItems" ] } ], "Principal": [ "arn:aws:iam::account-id:role/role-name" ] } ]
Für die vollständige Zuordnung von OpenSearch API-Operationen zu OpenSearch Serverlose Berechtigungen, siehe Unterstützte Operationen und Plugins in Amazon OpenSearch Serverless.
Arbeiten mit Ingest-Pipelines
Sie erstellen und verwalten Ingest-Pipelines mit OpenSearch REST-API für Ihren Sammlungsendpunkt. Alle Anfragen müssen signiert werden mit AWS Signaturversion 4 unter Verwendung des Dienstnamens aoss. Weitere Informationen finden Sie unter Signieren von HTTP-Anforderungen mit anderen Clients.
Erstellen oder aktualisieren Sie eine Pipeline
Um eine Pipeline zu erstellen, senden Sie eine PUT Anfrage an die _ingest/pipeline Endpunkt mit dem Pipeline-Namen und einer geordneten Liste von Prozessoren. Dokumente durchlaufen die Prozessoren in der Reihenfolge, in der sie definiert sind. Um eine bestehende Pipeline zu aktualisieren, senden Sie dieselbe Anfrage mit der geänderten Definition.
Im folgenden Beispiel wird eine Pipeline erstellt, die ein Feld kürzt, klein schreibt und umbenennt. Ersetzen my-pipeline mit dem Namen Ihrer Pipeline.
PUT _ingest/pipeline/my-pipeline{ "description": "Normalizes the category field", "processors": [ { "trim": { "field": "category" } }, { "lowercase": { "field": "category" } }, { "rename": { "field": "category", "target_field": "category_normalized" } } ] }
Die Anfrage gibt die folgende Antwort zurück:
{ "acknowledged": true }
Im folgenden Beispiel wird eine Pipeline erstellt, die ein Textfeld in Abschnitte unterteilt und Vektoreinbettungen für jeden Block generiert. Es erfordert ein konfiguriertes Modell. Weitere Informationen finden Sie unter Konfiguration der neuronalen Suche und der Hybridsuche auf OpenSearch Serverless.
PUT _ingest/pipeline/nlp-ingest-pipeline{ "description": "Chunks text and generates embeddings", "processors": [ { "text_chunking": { "algorithm": { "fixed_token_length": { "token_limit": 384 } }, "field_map": { "text-field": "text-chunks-field" } } }, { "text_embedding": { "model_id": "my-model-id", "field_map": { "text-chunks-field": "embedding-field" } } } ] }
Weitere Informationen finden Sie unter Pipeline erstellen
Holen Sie sich eine Pipeline
Um die Definition einer Pipeline abzurufen, senden Sie eine GET Anfrage mit dem Pipeline-Namen:
GET _ingest/pipeline/my-pipeline
Die Anfrage gibt die Pipeline-Definition zurück:
{ "my-pipeline": { "description": "Normalizes the category field", "processors": [ { "trim": { "field": "category" } }, { "lowercase": { "field": "category" } }, { "rename": { "field": "category", "target_field": "category_normalized" } } ] } }
Weitere Informationen finden Sie unter Pipeline abrufen
Pipelines auflisten
Um alle Pipelines in einer Sammlung aufzulisten, senden Sie eine GET Anfrage ohne Pipeline-Namen:
GET _ingest/pipeline
Die Anforderung gibt die Definitionen aller Pipelines in der Sammlung zurück, sortiert nach dem Pipeline-Namen.
Simulieren Sie eine Pipeline
Bevor Sie eine Pipeline auf Live-Traffic anwenden, können Sie sie anhand von Beispieldokumenten simulieren und die transformierte Ausgabe überprüfen. Um eine bestehende Pipeline zu simulieren, senden Sie eine POST Anfrage mit dem Pipeline-Namen und den Beispieldokumenten:
POST _ingest/pipeline/my-pipeline/_simulate { "docs": [ { "_index": "my-index", "_id": "1", "_source": { "category": " Home Appliances " } } ] }
In der Antwort wird jedes Dokument so angezeigt, wie es nach der Ausführung der Pipeline indexiert würde. In diesem Beispiel wurde die Pipeline gekürzt und in Kleinbuchstaben geschrieben category Feld und benannte es um in category_normalized:
{ "docs": [ { "doc": { "_index": "my-index", "_id": "1", "_source": { "category_normalized": "home appliances" }, "_ingest": { "timestamp": "2026-10-28T16:23:40.895265415Z" } } } ] }
Sie können auch eine Pipeline-Definition simulieren, die Sie noch nicht erstellt haben, indem Sie die Definition in den Anforderungstext aufnehmen:
POST _ingest/pipeline/_simulate { "pipeline": { "processors": [ { "lowercase": { "field": "category" } } ] }, "docs": [ { "_index": "my-index", "_id": "1", "_source": { "category": "Home Appliances" } } ] }
Weitere Informationen finden Sie unter Pipeline simulieren
Pipeline löschen
Um eine Pipeline zu löschen, die Sie nicht mehr benötigen, senden Sie eine DELETE Anfrage mit dem Pipeline-Namen:
DELETE _ingest/pipeline/my-pipeline
Die Anfrage gibt die folgende Antwort zurück:
{ "acknowledged": true }
Wenden Sie eine Pipeline auf Indexierungsanfragen an
Um für jedes Dokument, das in einen Index indexiert wird, eine Pipeline auszuführen, legen Sie Folgendes fest index.default_pipeline Einstellung beim Erstellen des Indexes:
PUTmy-index{ "settings": { "index.default_pipeline": "my-pipeline" } }
Die Anfrage gibt die folgende Antwort zurück:
{ "acknowledged": true, "shards_acknowledged": false, "index": "my-index" }
Sie können die Pipeline auch für eine einzelne Indexierungs- oder Massenanforderung angeben mit dem pipeline Abfrageparameter:
POSTmy-index/_doc?pipeline=my-pipeline{ "category": " Home Appliances " }
Die Antwort bestätigt, dass das Dokument indexiert wurde:
{ "_index": "my-index", "_id": "93VTg6EBtHTIBjFym5yW", "_version": 1, "result": "created", "_shards": { "total": 0, "successful": 0, "failed": 0 }, "_seq_no": 0, "_primary_term": 0 }
EIN pipeline Der Abfrageparameter überschreibt den default_pipeline Einstellung des Indexes für diese Anfrage. Die beiden lassen sich nicht kombinieren. Wenn eine Servicefunktion wie die automatische semantische Anreicherung die Standardpipeline für Ihren Index verwaltet, kann das Überschreiben oder Ersetzen der Pipeline dazu führen, dass die Verarbeitung dieser Funktion nicht ausgeführt wird.