사용 사례

벡터 검색의 사용 사례는 다음과 같습니다.

검색 및 증강 세대 () RAG

Retrieval Augmented Generation (RAG) 은 벡터 검색을 활용하여 대규모 데이터 모음에서 관련 구절을 검색하여 대규모 언어 모델을 확장합니다 (). LLM 특히, 인코더는 입력 컨텍스트와 검색 쿼리를 벡터에 임베딩한 다음 가장 가까운 이웃 검색을 사용하여 의미가 유사한 구절을 찾습니다. 이렇게 검색된 구절은 원래 컨텍스트와 연결되어 사용자에게 더 정확한 응답을 제공하기 위해 추가 관련 정보를 제공합니다. LLM

내구성이 뛰어난 시맨틱 캐시

시맨틱 캐싱은 FM의 이전 결과를 저장하여 계산 비용을 줄이는 프로세스입니다. 시맨틱 캐싱은 이전 추론에서 얻은 이전 결과를 다시 계산하는 대신 재사용함으로써 추론을 통해 추론하는 동안 필요한 계산량을 줄여줍니다. FMs MemoryDB는 내구성이 뛰어난 시맨틱 캐싱을 지원하여 과거 추론으로 인한 데이터 손실을 방지합니다. 이를 통해 제너레이티브 AI 애플리케이션은 의미상 유사한 이전의 질문에 대한 답변으로 한 자릿수 밀리초 내에 응답하는 동시에 불필요한 추론을 피하여 비용을 절감할 수 있습니다. LLM

• 시맨틱 검색 적중 - 정의된 유사성 점수를 기준으로 고객의 질의가 이전 질문과 의미상 유사한 경우 FM 버퍼 메모리(MemoryDB)는 4단계에서 이전 질문에 대한 답변을 반환하고 3단계에서는 FM을 호출하지 않습니다. 이렇게 하면 파운데이션 모델(FM)의 지연과 비용 발생을 방지할 수 있어 고객에게 더 빠른 답변을 제공할 수 있습니다.

• 시맨틱 검색 실패 - 정의된 유사성 점수를 기준으로 고객의 쿼리가 이전 쿼리와 의미상 유사하지 않은 경우 3a단계에서 FM을 호출하여 고객에게 답변을 제공합니다. 그런 다음 FM에서 생성된 응답은 향후 쿼리(3b단계)를 위해 MemoryDB에 벡터로 저장되어 의미상 유사한 질문에 대한 FM 비용을 최소화합니다. 이 흐름에서는 원래 쿼리에 의미상 유사한 질문이 없었기 때문에 4단계를 호출하지 않았습니다.

사기 탐지

이상 탐지의 한 형태인 사기 탐지는 유효한 거래를 벡터로 표현하고 완전히 새로운 신규 거래의 벡터 표현을 비교합니다. 완전히 새로운 신규 거래가 유효한 거래 데이터를 나타내는 벡터와 유사성이 낮을 때 사기 탐지가 이루어집니다. 이를 통해 가능한 모든 사기 인스턴스를 예측하는 대신 정상적인 행동을 모델링하여 사기를 탐지할 수 있습니다. MemoryDB를 사용하면 조직에서 오탐을 최소화하고 한 자릿수 밀리초의 지연 시간으로 처리량이 높은 기간에 이 작업을 수행할 수 있습니다.

그 외 사용 사례

• 추천 엔진은 항목을 벡터로 표현하여 사용자에게 유사한 제품이나 콘텐츠를 찾을 수 있습니다. 벡터는 속성과 패턴을 분석하여 만들어집니다. 사용자 패턴 및 속성을 기반으로 사용자로부터 좋은 평가를 받은 가장 유사한 벡터를 찾아 이전에 보지 못한 새로운 항목을 사용자에게 추천할 수 있습니다.

• 문서 검색 엔진은 텍스트 문서를 의미론적 의미를 포착하는 고밀도 숫자 벡터로 표현합니다. 검색 시 엔진은 검색 쿼리를 벡터로 변환하고 가장 가까운 이웃 검색을 사용하여 쿼리와 벡터가 가장 유사한 문서를 찾습니다. 이 벡터 유사성 접근 방식을 사용하면 단순히 키워드를 일치시키는 대신 의미를 기반으로 문서를 일치시킬 수 있습니다.