Configurar a pesquisa neural e a pesquisa híbrida sem OpenSearch servidor

Pesquisa neural

O Amazon OpenSearch Serverless oferece suporte à funcionalidade de pesquisa neural para operações de pesquisa semântica em seus dados. A Pesquisa Neural usa modelos de aprendizado de máquina para entender o significado semântico e o contexto de suas consultas, fornecendo resultados de pesquisa mais relevantes do que as pesquisas tradicionais baseadas em palavras-chave. Esta seção explica como configurar a Pesquisa Neural no OpenSearch Serverless, incluindo as permissões necessárias, os processadores compatíveis e as principais diferenças em relação à implementação padrão OpenSearch .

Com a Pesquisa Neural, você pode realizar uma pesquisa semântica em seus dados, que considera o significado semântico para entender a intenção de suas consultas de pesquisa. Esse recurso é alimentado pelos seguintes componentes:

• Processador de pipeline de ingestão de incorporação de texto

• Consulta neural

• Consulta neural esparsa

Pesquisa híbrida

Com a pesquisa híbrida, você pode melhorar a relevância da pesquisa combinando recursos de pesquisa semântica e de palavras-chave. Para usar a pesquisa híbrida, crie um canal de pesquisa que processe os resultados da pesquisa e combine as pontuações dos documentos. Para obter mais informações, consulte Pipelines de pesquisa no site da OpenSearch documentação. Use os seguintes componentes para implementar a pesquisa híbrida:

• Processador de pipeline de pesquisa de normalização

  Técnicas de normalização suportadas

  • min_max

  • l2

  Técnicas de combinação suportadas

  • arithmetic_mean

  • geometric_mean

  • harmonic_mean

  Para obter mais informações sobre técnicas de normalização e combinação, consulte os campos do corpo da solicitação no site da OpenSearchdocumentação.

• Consulta híbrida

Consultas neurais e híbridas

Por padrão, OpenSearch calcula as pontuações dos documentos usando o BM25 algoritmo Okapi baseado em palavras-chave, que funciona bem para consultas de pesquisa que contêm palavras-chave. A Pesquisa Neural fornece novos tipos de consulta para consultas em linguagem natural e a capacidade de combinar pesquisa semântica e por palavra-chave.

exemplo : neural

"neural": {
  "vector_field": {
    "query_text": "query_text",
    "query_image": "image_binary",
    "model_id": "model_id",
    "k": 100
  }
}
            

Para obter mais informações, consulte Consulta neural no site da OpenSearch documentação.

exemplo : hybrid

"hybrid": {
      "queries": [
        array of lexical, neural, or combined queries
      ]
    } 
            

Para obter mais informações, consulte Consulta híbrida no site da OpenSearch documentação.

Para configurar componentes de pesquisa semântica no Amazon OpenSearch Serverless, siga as etapas no tutorial de pesquisa neural no site da OpenSearch documentação. Lembre-se dessas diferenças importantes:

• OpenSearch O Serverless oferece suporte somente a modelos remotos. Você deve configurar conectores para modelos hospedados remotamente. Você não precisa implantar ou remover modelos remotos. Para obter mais informações, consulte Introdução à pesquisa semântica e híbrida no site da OpenSearch Documentação.

• Espere até 15 segundos de latência ao pesquisar em seu índice vetorial ou pesquisar canais de pesquisa e ingestão criados recentemente.

Configurar permissões do

A Pesquisa Neural no OpenSearch Serverless requer as seguintes permissões. Para obter mais informações, consulte Permissões de políticas com suporte.

exemplo : Política de pesquisa neural

JSON

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "NeuralSearch",
            "Effect": "Allow",
            "Action": [
              "aoss:CreateIndex",
              "aoss:CreateCollectionItems",
              "aoss:CreateMLResource",
              "aoss:DescribeCollectionItems",
              "aoss:UpdateCollectionItems",
              "aoss:DeleteIndex",
              "aoss:DeleteCollectionItems",
              "aoss:DeleteMLResource",
              "aoss:APIAccessAll",
            ],
            "Resource": "*"
        }
    ]
}

• aoss: *Index — Cria um índice vetorial onde as incorporações de texto são armazenadas.

• aoss: * CollectionItems — Cria canais de ingestão e pesquisa.

• aoss: * MLResource — Cria e registra modelos de incorporação de texto.

• aoss: APIAccess All — Fornece acesso às operações de OpenSearch APIs busca e ingestão.

A seguir, descrevemos as políticas de acesso aos dados de coleta necessárias para a pesquisa neural. Substitua placeholder values o por suas informações específicas.

exemplo : Política de acesso a dados

[
    {
        "Description": "Create index permission",
        "Rules": [
            {
                "ResourceType": "index",
                "Resource": ["index/collection_name/*"],
                "Permission": [
                  "aoss:CreateIndex", 
                  "aoss:DescribeIndex",
                  "aoss:UpdateIndex",
                  "aoss:DeleteIndex"
                ]
            }
        ],
        "Principal": [
            "arn:aws:iam::account_id:role/role_name"
        ]
    },
    {
        "Description": "Create pipeline permission",
        "Rules": [
            {
                "ResourceType": "collection",
                "Resource": ["collection/collection_name"],
                "Permission": [
                  "aoss:CreateCollectionItems",
                  "aoss:DescribeCollectionItems",
                  "aoss:UpdateCollectionItems",
                  "aoss:DeleteCollectionItems"
                ]
            }
        ],
        "Principal": [
            "arn:aws:iam::account_id:role/role_name"
        ]
    },
    {
        "Description": "Create model permission",
        "Rules": [
            {
                "ResourceType": "model",
                "Resource": ["model/collection_name/*"],
                "Permission": ["aoss:CreateMLResources"]
            }
        ],
        "Principal": [
            "arn:aws:iam::account_id:role/role_name"
        ]
    }
]