Konfigurasikan Pencarian Neural dan Pencarian Hibrid di Tanpa OpenSearch Server

Pencarian Saraf

Amazon OpenSearch Serverless mendukung fungsionalitas Pencarian Neural untuk operasi penelusuran semantik pada data Anda. Neural Search menggunakan model pembelajaran mesin untuk memahami makna semantik dan konteks kueri Anda, memberikan hasil pencarian yang lebih relevan daripada pencarian berbasis kata kunci tradisional. Bagian ini menjelaskan cara mengonfigurasi Pencarian Neural di OpenSearch Tanpa Server, termasuk izin yang diperlukan, prosesor yang didukung, dan perbedaan utama dari implementasi standar. OpenSearch

Dengan Neural Search, Anda dapat melakukan penelusuran semantik pada data Anda, yang mempertimbangkan makna semantik untuk memahami maksud kueri penelusuran Anda. Kemampuan ini didukung oleh komponen-komponen berikut:

• Prosesor pipa menelan penyematan teks

• Permintaan saraf

• Kueri jarang saraf

Pencarian Hibrida

Dengan pencarian hybrid, Anda dapat meningkatkan relevansi pencarian dengan menggabungkan kata kunci dan kemampuan pencarian semantik. Untuk menggunakan pencarian hybrid, buat pipeline penelusuran yang memproses hasil penelusuran Anda dan menggabungkan skor dokumen. Untuk informasi selengkapnya, lihat Cari saluran pipa di situs web OpenSearch Dokumentasi. Gunakan komponen berikut untuk mengimplementasikan pencarian hybrid:

• Prosesor pipa pencarian normalisasi

  Teknik normalisasi yang didukung

  • min_max

  • l2

  Teknik kombinasi yang didukung

  • arithmetic_mean

  • geometric_mean

  • harmonic_mean

  Untuk informasi selengkapnya tentang teknik normalisasi dan kombinasi, lihat Meminta kolom isi di situs web OpenSearchDokumentasi.

• Kueri hibrida

Kueri saraf dan hibrida

Secara default, OpenSearch menghitung skor dokumen menggunakan BM25 algoritma Okapi berbasis kata kunci, yang berfungsi dengan baik untuk kueri penelusuran yang berisi kata kunci. Neural Search menyediakan jenis kueri baru untuk kueri bahasa alami dan kemampuan untuk menggabungkan pencarian semantik dan kata kunci.

contoh : neural

"neural": {
  "vector_field": {
    "query_text": "query_text",
    "query_image": "image_binary",
    "model_id": "model_id",
    "k": 100
  }
}
            

Untuk informasi selengkapnya, lihat Kueri saraf di situs web OpenSearch Dokumentasi.

contoh : hybrid

"hybrid": {
      "queries": [
        array of lexical, neural, or combined queries
      ]
    } 
            

Untuk informasi selengkapnya, lihat Kueri hibrida di situs web OpenSearch Dokumentasi.

Untuk mengonfigurasi komponen pencarian semantik di Amazon OpenSearch Tanpa Server, ikuti langkah-langkah dalam tutorial Pencarian Neural di situs web Dokumentasi. OpenSearch Ingatlah perbedaan-perbedaan penting ini:

• OpenSearch Tanpa server hanya mendukung model jarak jauh. Anda harus mengonfigurasi konektor ke model yang dihosting dari jarak jauh. Anda tidak perlu menerapkan atau menghapus model jarak jauh. Untuk informasi selengkapnya, lihat Memulai pencarian semantik dan hibrida di situs web OpenSearch Dokumentasi.

• Harapkan latensi hingga 15 detik saat Anda mencari indeks vektor Anda atau mencari saluran pipa pencarian dan penyerapan yang baru dibuat.

Konfigurasi izin

Pencarian Neural di OpenSearch Tanpa Server memerlukan izin berikut. Untuk informasi selengkapnya, lihat Izin kebijakan yang didukung.

contoh : Kebijakan pencarian saraf

JSON

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "NeuralSearch",
            "Effect": "Allow",
            "Action": [
              "aoss:CreateIndex",
              "aoss:CreateCollectionItems",
              "aoss:CreateMLResource",
              "aoss:DescribeCollectionItems",
              "aoss:UpdateCollectionItems",
              "aoss:DeleteIndex",
              "aoss:DeleteCollectionItems",
              "aoss:DeleteMLResource",
              "aoss:APIAccessAll",
            ],
            "Resource": "*"
        }
    ]
}

• aoss: *Index — Membuat indeks vektor tempat penyematan teks disimpan.

• aoss: * CollectionItems — Membuat saluran pipa menelan dan mencari.

• aoss: * MLResource — Membuat dan mendaftarkan model penyematan teks.

• aoss: APIAccess Semua - Menyediakan akses ke OpenSearch APIs operasi pencarian dan konsumsi.

Berikut ini menjelaskan kebijakan akses data pengumpulan yang diperlukan untuk pencarian saraf. Ganti placeholder values dengan informasi spesifik Anda.

contoh : Kebijakan akses data

[
    {
        "Description": "Create index permission",
        "Rules": [
            {
                "ResourceType": "index",
                "Resource": ["index/collection_name/*"],
                "Permission": [
                  "aoss:CreateIndex", 
                  "aoss:DescribeIndex",
                  "aoss:UpdateIndex",
                  "aoss:DeleteIndex"
                ]
            }
        ],
        "Principal": [
            "arn:aws:iam::account_id:role/role_name"
        ]
    },
    {
        "Description": "Create pipeline permission",
        "Rules": [
            {
                "ResourceType": "collection",
                "Resource": ["collection/collection_name"],
                "Permission": [
                  "aoss:CreateCollectionItems",
                  "aoss:DescribeCollectionItems",
                  "aoss:UpdateCollectionItems",
                  "aoss:DeleteCollectionItems"
                ]
            }
        ],
        "Principal": [
            "arn:aws:iam::account_id:role/role_name"
        ]
    },
    {
        "Description": "Create model permission",
        "Rules": [
            {
                "ResourceType": "model",
                "Resource": ["model/collection_name/*"],
                "Permission": ["aoss:CreateMLResources"]
            }
        ],
        "Principal": [
            "arn:aws:iam::account_id:role/role_name"
        ]
    }
]