Konfigurieren Sie die neuronale Suche und die Hybridsuche auf OpenSearch Serverless

Neuronale Suche

Amazon OpenSearch Serverless unterstützt Neural Search-Funktionen für semantische Suchvorgänge in Ihren Daten. Neural Search verwendet Modelle für maschinelles Lernen, um die semantische Bedeutung und den Kontext Ihrer Anfragen zu verstehen, und liefert so relevantere Suchergebnisse als herkömmliche, auf Schlüsselwörtern basierende Suchen. In diesem Abschnitt wird erklärt, wie Neural Search in OpenSearch Serverless konfiguriert wird, einschließlich der erforderlichen Berechtigungen, der unterstützten Prozessoren und der wichtigsten Unterschiede zur Standardimplementierung. OpenSearch

Mit Neural Search können Sie eine semantische Suche in Ihren Daten durchführen, wobei die semantische Bedeutung berücksichtigt wird, um die Absicht Ihrer Suchanfragen zu verstehen. Diese Funktion wird durch die folgenden Komponenten unterstützt:

• Pipeline-Prozessor für Texteinbettung, Ingest

• Neuronale Abfrage

• Neuronale, spärliche Abfrage

Hybride Suche

Mit der Hybridsuche können Sie die Suchrelevanz verbessern, indem Sie Funktionen für die Stichwortsuche und die semantische Suche kombinieren. Um die Hybridsuche zu verwenden, erstellen Sie eine Suchpipeline, die Ihre Suchergebnisse verarbeitet und die Punktzahlen der Dokumente kombiniert. Weitere Informationen finden Sie unter Such-Pipelines auf der OpenSearch Dokumentationswebsite. Verwenden Sie die folgenden Komponenten, um die Hybridsuche zu implementieren:

• Pipeline-Prozessor für die Normalisierungssuche

  Unterstützte Normalisierungstechniken

  • min_max

  • l2

  Unterstützte Kombinationstechniken

  • arithmetic_mean

  • geometric_mean

  • harmonic_mean

  Weitere Informationen zu Normalisierungs- und Kombinationstechniken finden Sie auf der OpenSearchDokumentationswebsite unter Felder für den Anforderungstext.

• Hybrid-Abfrage

Neuronale und hybride Abfragen

OpenSearch Berechnet die Punktzahlen von Dokumenten standardmäßig mithilfe des schlüsselwortbasierten BM25 Okapi-Algorithmus, der sich gut für Suchanfragen eignet, die Schlüsselwörter enthalten. Neural Search bietet neue Abfragetypen für Abfragen in natürlicher Sprache und die Möglichkeit, sowohl die semantische Suche als auch die Stichwortsuche zu kombinieren.

Beispiel : neural

"neural": {
  "vector_field": {
    "query_text": "query_text",
    "query_image": "image_binary",
    "model_id": "model_id",
    "k": 100
  }
}
            

Weitere Informationen finden Sie unter Neuronale Abfragen auf der OpenSearch Dokumentationswebsite.

Beispiel : hybrid

"hybrid": {
      "queries": [
        array of lexical, neural, or combined queries
      ]
    } 
            

Weitere Informationen finden Sie unter Hybride Abfrage auf der OpenSearch Dokumentationswebsite.

Um semantische Suchkomponenten in Amazon OpenSearch Serverless zu konfigurieren, folgen Sie den Schritten im Tutorial Neural Search auf der OpenSearch Dokumentationswebsite. Beachten Sie diese wichtigen Unterschiede:

• OpenSearch Serverless unterstützt nur Remote-Modelle. Sie müssen Konnektoren für remote gehostete Modelle konfigurieren. Sie müssen keine Remote-Modelle bereitstellen oder entfernen. Weitere Informationen finden Sie unter Erste Schritte mit der semantischen und hybriden Suche auf der OpenSearch Dokumentationswebsite.

• Rechnen Sie mit einer Latenz von bis zu 15 Sekunden, wenn Sie in Ihrem Vektorindex suchen oder nach kürzlich erstellten Such- und Ingest-Pipelines suchen.

Konfigurieren von Berechtigungen

Für die neuronale Suche in OpenSearch Serverless sind die folgenden Berechtigungen erforderlich. Weitere Informationen finden Sie unter Unterstützte Richtlinienberechtigungen.

Beispiel : Richtlinie zur neuronalen Suche

JSON

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "NeuralSearch",
            "Effect": "Allow",
            "Action": [
              "aoss:CreateIndex",
              "aoss:CreateCollectionItems",
              "aoss:CreateMLResource",
              "aoss:DescribeCollectionItems",
              "aoss:UpdateCollectionItems",
              "aoss:DeleteIndex",
              "aoss:DeleteCollectionItems",
              "aoss:DeleteMLResource",
              "aoss:APIAccessAll",
            ],
            "Resource": "*"
        }
    ]
}

• aoss: *Index — Erzeugt einen Vektorindex, in dem Texteinbettungen gespeichert werden.

• aoss: * CollectionItems — Erzeugt Ingest- und Such-Pipelines.

• aoss: * MLResource — Erzeugt und registriert Modelle zur Texteinbettung.

• aoss: APIAccess All — Ermöglicht den Zugriff auf Such OpenSearch APIs - und Aufnahmeoperationen.

Im Folgenden werden die Richtlinien für den Zugriff auf Sammlungsdaten beschrieben, die für die neuronale Suche erforderlich sind. Ersetzen Sie die placeholder values durch Ihre spezifischen Informationen.

Beispiel : Datenzugriffsrichtlinie

[
    {
        "Description": "Create index permission",
        "Rules": [
            {
                "ResourceType": "index",
                "Resource": ["index/collection_name/*"],
                "Permission": [
                  "aoss:CreateIndex", 
                  "aoss:DescribeIndex",
                  "aoss:UpdateIndex",
                  "aoss:DeleteIndex"
                ]
            }
        ],
        "Principal": [
            "arn:aws:iam::account_id:role/role_name"
        ]
    },
    {
        "Description": "Create pipeline permission",
        "Rules": [
            {
                "ResourceType": "collection",
                "Resource": ["collection/collection_name"],
                "Permission": [
                  "aoss:CreateCollectionItems",
                  "aoss:DescribeCollectionItems",
                  "aoss:UpdateCollectionItems",
                  "aoss:DeleteCollectionItems"
                ]
            }
        ],
        "Principal": [
            "arn:aws:iam::account_id:role/role_name"
        ]
    },
    {
        "Description": "Create model permission",
        "Rules": [
            {
                "ResourceType": "model",
                "Resource": ["model/collection_name/*"],
                "Permission": ["aoss:CreateMLResources"]
            }
        ],
        "Principal": [
            "arn:aws:iam::account_id:role/role_name"
        ]
    }
]