Amazon OpenSearch Service 中的 k 近鄰 (k-NN) 搜尋 - Amazon OpenSearch Service

Amazon OpenSearch Service 中的 k 近鄰 (k-NN) 搜尋

這是其相關聯的 k 近鄰演算法的簡稱,Amazon OpenSearch Service 的 KNN 可讓您搜尋向量空間中的點,並通過歐幾里德距離或餘弦相似度找出這些點的「近鄰」。使用案例包括建議 (例如,音樂應用程式中「其他您可能喜歡的歌曲」功能)、影像辨識和詐騙偵測。

請使用下表來尋找在您的 Amazon OpenSearch Service 網域上執行的 K-NN 外掛程式版本。每個 K-NN 外掛程式版本對應於 OpenSearchElasticsearch 版本。

OpenSearch
OpenSearch 版本 k-NN 外掛程式版本 值得注意的功能
1.0

1.0.0.0

重命名 REST API,同時支援向後相容性,將命名空間從 opendistro 重新命名為 opensearch
1.1 1.1.0.0
1.2 1.2.0.0 新增對 Faiss 函式庫的支援
Elasticsearch
Elasticsearch 版本 k-NN 外掛程式版本 值得注意的功能
7.1

1.3.0.0

歐幾里德距離
7.4

1.4.0.0

7.7

1.8.0.0

餘弦相似度
7.8

1.9.0.0

7.9

1.11.0.0

Warmup API,自訂評分

7.10

1.13.0.0

漢明距離、L1 Norm 距離和 Painless 指令碼

如需 k-NN 外掛程式的完整文件,請參閱 OpenSearch 文件。如需 k 近鄰演算法的背景資訊,請參閱維基百科

k-NN 入門

若要使用 k-NN,您必須使用 index.knn 設定建立索引,並新增資料類型為 knn_vector 的一個或多個欄位。

PUT my-index { "settings": { "index.knn": true }, "mappings": { "properties": { "my_vector1": { "type": "knn_vector", "dimension": 2 }, "my_vector2": { "type": "knn_vector", "dimension": 4 } } } }

knn_vector 資料類型支援最多 10,000 個浮點數的單一清單,其中包含由所需 dimension 參數定義的浮點數目。建立索引之後,將一些資料新增至其中。

POST _bulk { "index": { "_index": "my-index", "_id": "1" } } { "my_vector1": [1.5, 2.5], "price": 12.2 } { "index": { "_index": "my-index", "_id": "2" } } { "my_vector1": [2.5, 3.5], "price": 7.1 } { "index": { "_index": "my-index", "_id": "3" } } { "my_vector1": [3.5, 4.5], "price": 12.9 } { "index": { "_index": "my-index", "_id": "4" } } { "my_vector1": [5.5, 6.5], "price": 1.2 } { "index": { "_index": "my-index", "_id": "5" } } { "my_vector1": [4.5, 5.5], "price": 3.7 } { "index": { "_index": "my-index", "_id": "6" } } { "my_vector2": [1.5, 5.5, 4.5, 6.4], "price": 10.3 } { "index": { "_index": "my-index", "_id": "7" } } { "my_vector2": [2.5, 3.5, 5.6, 6.7], "price": 5.5 } { "index": { "_index": "my-index", "_id": "8" } } { "my_vector2": [4.5, 5.5, 6.7, 3.7], "price": 4.4 } { "index": { "_index": "my-index", "_id": "9" } } { "my_vector2": [1.5, 5.5, 4.5, 6.4], "price": 8.9 }

然後,您可以使用 knn 查詢類型搜尋資料。

GET my-index/_search { "size": 2, "query": { "knn": { "my_vector2": { "vector": [2, 3, 5, 6], "k": 2 } } } }

在此情況下,k 是您想要查詢傳回的近鄰數目,但您亦須包含 size 選項。否則,您會獲得每個碎片 (和每個區段) 的 k 結果,而不是整個查詢的 k 結果。KNN 支援的最大 k 值為 10,000。

如果您將 knn 查詢與其他子句混合使用,則可能會收到少於 k 個的結果。在此範例中,post_filter 子句會將結果的數目從 2 減少為 1。

GET my-index/_search { "size": 2, "query": { "knn": { "my_vector2": { "vector": [2, 3, 5, 6], "k": 2 } } }, "post_filter": { "range": { "price": { "gte": 6, "lte": 10 } } } }

k-NN 差異和調校

OpenSearch 可讓您使用 _cluster/settings API 來修改所有 k-NN 設定。在 OpenSearch Service 上,您可以變更除了 knn.memory.circuit_breaker.enabledknn.circuit_breaker.triggered 之外的所有設定。包含 k-NN 統計數字作為 Amazon CloudWatch 指標

尤其應依據 knn.memory.circuit_breaker.limit 統計數字和執行個體類型的可用 RAM,來檢查每個資料節點的 KNNGraphMemoryUsage 指標。OpenSearch Service 針對 Java 堆積使用執行個體 RAM 的一半 (堆積大小最多可達 32 GiB)。根據預設,k-NN 最高會使用剩下一半的 50%,這樣具有 32 GiB 的 RAM 的執行個體類型就能容納 8 GiB 的圖形 (32 * 0.5 * 0.5)。如果圖形記憶體用量超過此值,效能可能會受到影響。