使用案例 - Amazon MemoryDB

本文為英文版的機器翻譯版本,如內容有任何歧義或不一致之處,概以英文版為準。

使用案例

以下是矢量搜索的用例。

擷取增強世代 (RAG)

擷取增強一代 (RAG) 利用向量搜尋,從大型資料庫擷取相關段落,以擴充大型語言模型 ()。LLM具體來說,編碼器將輸入上下文和搜索查詢嵌入向量中,然後使用近似最近的鄰居搜索來查找語義上相似的段落。這些擷取的段落會與原始內容連結在一起,以提供額外的相關資訊給使用者,以便傳回更準確的回應LLM給使用者。

檢索增強生成流的圖形

持久的語義緩存

語義緩存是通過存儲從 FM 先前的結果降低計算成本的過程。藉由重複使用先前推論的先前結果,而不是重新計算它們,語意快取可減少透過. FMs MemoryDB 啟用持久的語義緩存,從而避免了過去推論的數據丟失。這可讓您的生成式 AI 應用程式在幾毫秒內回應先前語意類似問題的答案,同時避免不必要LLM的推論來降低成本。

工作流程圖顯示基礎模型的過程。
  • 語意搜尋命中 — 如果客戶的查詢與先前問題的定義相似度分數在語義上相似,則 FM 緩衝記憶體 (MemoryDB) 會在步驟 4 中傳回前一個問題的答案,而不會透過步驟 3 呼叫 FM。這將避免基礎模型(FM)延遲和產生的成本,從而為客戶提供更快的體驗。

  • 語意搜尋未命中 — 如果客戶的查詢與先前查詢的定義相似度分數在語義上不相似,則客戶將呼叫 FM,在步驟 3a 中向客戶提供回應。然後,從 FM 生成的響應將作為向量存儲到 MemoryDB 中以供將 future 查詢(步驟 3b),以最大程度地減少語義類似問題的 FM 成本。在此流程中,不會叫用步驟 4,因為原始查詢沒有語義上類似的問題。

詐騙偵測

欺詐檢測是一種異常檢測形式,在比較淨新交易的矢量表示的同時,將有效交易以向量表示形式表示。當這些淨新交易與代表有效交易資料的向量具有較低的相似性時,就會偵測到詐騙。這允許通過建模正常行為來檢測欺詐行為,而不是試圖預測每個可能的欺詐實例。MemoryDB 允許組織在高輸送量期間執行此操作,誤報率最小且延遲為 10 毫秒。

其他使用案例

  • 推薦引擎可以通過將項目表示為矢量來找到用戶類似的產品或內容。向量是透過分析屬性和圖案來建立的。根據用戶模式和屬性,可以通過找到與用戶積極對齊的最相似的矢量來向用戶推薦新的看不見的項目。

  • 文檔搜索引擎將文本文檔表示為數字的密集向量,捕獲語義意義。在搜尋時,引擎會將搜尋查詢轉換為向量,並使用近似鄰近搜尋尋尋找與查詢最相似向量的文件。這種向量相似性方法允許根據意義匹配文檔,而不僅僅是匹配關鍵字。