Opzioni del database vettoriale

AWS offre una vasta gamma di soluzioni di database vettoriali per supportare diversi casi d'uso e requisiti nelle applicazioni di intelligenza artificiale generativa. Queste opzioni possono essere ampiamente suddivise in singoli servizi di database e offerte di servizi gestiti, ciascuno con caratteristiche e vantaggi distinti. La comprensione di queste opzioni è fondamentale per le organizzazioni che desiderano implementare in modo efficace le funzionalità di ricerca vettoriale mantenendo prestazioni, scalabilità ed efficienza dei costi ottimali.

Per ulteriori informazioni sulle soluzioni di database vettoriali, consulta le seguenti sezioni:

• Opzioni di database vettoriali individuali

• Opzione di servizio gestito

Opzioni di database vettoriali individuali

Le opzioni di database vettoriali individuali AWS includono Amazon Kendra OpenSearch , Amazon Service e Amazon RDS for PostgreSQL con pgvector. (Un'estensione open source, pgvector aggiunge la possibilità di archiviare e cercare incorporamenti vettoriali generati dall'apprendimento automatico (ML).) Queste soluzioni offrono approcci diversi alla ricerca vettoriale, consentendo alle organizzazioni di scegliere in base all'infrastruttura esistente, ai requisiti tecnici e ai casi d'uso specifici.

Amazon Kendra

Amazon Kendra è un servizio di ricerca intelligente di livello aziendale che utilizza l'elaborazione del linguaggio naturale e algoritmi avanzati di apprendimento automatico per restituire risposte specifiche alle domande di ricerca dai tuoi dati. Amazon Kendra semplifica l'implementazione della funzionalità di ricerca, rendendola una soluzione di backend efficace per applicazioni di intelligenza artificiale generativa.

Altre caratteristiche chiave di Amazon Kendra includono:

• Connessioni native a oltre 40 fonti di dati

• Funzionalità integrate di preparazione dei dati

• Configurazione rapida che non richiede competenze tecniche approfondite

I vantaggi di Amazon Kendra includono i seguenti:

• Elaborazione automatizzata dei dati (suddivisione in blocchi, ingestione, recupero)

• Potenti opzioni di personalizzazione:

  • Ricerca sfaccettata

  • Analisi della ricerca

  • Ottimizzazione della pertinenza della ricerca

• Accesso programmatico semplice tramite AWS SDK per Python (Boto3)

Per ulteriori informazioni, consulta i vantaggi di Amazon Kendra nella Amazon Kendra Developer Guide.

OpenSearch Servizio Amazon

Amazon OpenSearch Service è un servizio gestito che ti aiuta a distribuire, gestire e scalare i cluster OpenSearch di servizi in. Cloud AWS

Le funzionalità principali di OpenSearch Service includono quanto segue:

• Motore di ricerca e analisi open source

• Architettura distribuita

• Elaborazione dati in tempo reale

Alcuni vantaggi dell'utilizzo del OpenSearch servizio includono quanto segue:

• Scalabilità orizzontale

• RESTful Supporto API

• Gestisce dati strutturati e non strutturati

• Analisi dei dati in tempo reale

• Adatto a diverse dimensioni di implementazione

Per ulteriori informazioni, consulta la sezione Caratteristiche di Amazon OpenSearch Service nella OpenSearch Service Developer Guide.

Amazon RDS per PostgreSQL con pgvector

Amazon RDS per PostgreSQL con pgvectorcombina il servizio di database relazionale AWS gestito con l'estensione di elaborazione vettoriale di PostgreSQL. Questa combinazione consente alle organizzazioni di archiviare e interrogare vettori ad alta dimensione mantenendo Amazon RDS. La soluzione è particolarmente adatta per applicazioni di intelligenza artificiale generativa che richiedono operazioni vettoriali in tempo reale senza il sovraccarico di gestione dell'infrastruttura di database.

Principali vantaggi di Amazon RDS per PostgreSQL con pgvector includono quanto segue:

• Elevata disponibilità

• Failover automatico

• Conveniente () pay-per-use

• Monitoraggio integrato

• Integrazione di dati vettoriali in tempo reale

Per ulteriori informazioni, consulta i vantaggi di Amazon RDS nella Guida per l'utente di Amazon Relational Database Service.

Opzione di servizio gestito

Amazon Bedrock Knowledge Bases rappresenta l'approccio AWS completamente gestito all'implementazione di database vettoriali. La flessibilità del servizio nelle opzioni di storage, combinata con le sue funzionalità di gestione automatizzata, lo rende particolarmente utile per le organizzazioni che desiderano implementare RAG senza gestire infrastrutture complesse.

Con Amazon Bedrock Knowledge Bases, puoi creare, gestire e interrogare basi di conoscenza che migliorano i tuoi modelli di base utilizzando RAG. Questo servizio semplifica il complesso processo di implementazione di RAG gestendo l'intera pipeline di inserimento, vettorizzazione e recupero dei dati.

I vantaggi principali delle Knowledge Base di Amazon Bedrock includono:

Elaborazione semplificata dei dati

• Inserimento e suddivisione automatici dei dati

• Estrazione di testo integrata da più formati di file

• Generazione gestita di incorporamenti vettoriali

• Estrazione e indicizzazione automatiche dei metadati

Implementazione RAG semplificata

• Strategie di recupero preconfigurate

• Ottimizzazione automatica della finestra contestuale

• Ottimizzazione della pertinenza integrata

• Funzionalità di ricerca semantica pronte all'uso

Sicurezza e governance

• Controlli integrati AWS Identity and Access Management (IAM)

• Crittografia dei dati a riposo e in transito

• Supporto per VPC

• Registrazione di audit con AWS CloudTrail

Amazon Bedrock Knowledge Bases supporta diverse opzioni di archiviazione vettoriale. L'elenco seguente fornisce una panoramica delle caratteristiche principali di ciascuna opzione:

• Amazon Aurora PostgreSQL con pgvector

  • Archiviazione vettoriale compatibile con PostgreSQL

  • Integrato con i database Aurora esistenti

  • Conveniente per installazioni di piccole dimensioni

  • Ideale per dati ibridi strutturati e non strutturati

• Analisi di Amazon Neptune

  • Ricerca vettoriale basata su grafici

  • Combina i dati relazionali con i vettori

  • Ideale per casi di utilizzo di dati connessi

  • Funzionalità di interrogazione avanzate

• Amazon senza OpenSearch server

  • Esperienza serverless completamente gestita

  • Scalabilità automatica basata sul carico di lavoro

  • Funzionalità K-nn integrate

  • Conveniente per carichi di lavoro diversi

• Pinecone

  • Database vettoriale creato appositamente

  • Alte prestazioni su larga scala

  • Funzioni avanzate di ricerca per similarità

  • Gestito tramite la console Amazon Bedrock

• Redis Cloud aziendale

  • Funzionalità di ricerca vettoriale in memoria

  • Prestazioni a bassa latenza

  • Ricerca vettoriale in tempo reale

  • Funzionalità di caching integrate

Quando scegli un negozio vettoriale supportato da Amazon Bedrock Knowledge Base, considera le seguenti caratteristiche chiave di ciascuna opzione:

• Aurora PostgreSQL: dati relazionali con funzionalità vettoriali

• Neptune Analytics: rappresentazioni della conoscenza basate su grafici

• OpenSearch Servizio: attenzione alla ricerca e all'analisi

• Pinecone — Prestazioni di ricerca vettoriale pura

• Redis Enterprise Cloud: esigenze in tempo reale e a bassa latenza

Ogni implementazione offre i seguenti vantaggi unici:

• Aurora PostgreSQL: ideale per le applicazioni che richiedono funzionalità SQL tradizionali e vettoriali

• Neptune Analytics: ideale per query complesse basate su relazioni e grafici della conoscenza

• OpenSearch Servizio: potente nella ricerca e nell'analisi di testo completo

• Pinecone — Ottimizzato per operazioni vettoriali pure

• Redis Enterprise Cloud: ideale per applicazioni in tempo reale

Di seguito sono riportati alcuni punti chiave da considerare nella scelta di un archivio vettoriale per la soluzione RAG:

• Scalabilità: capacità di gestire in modo efficiente set di dati di grandi dimensioni e in crescita.

• Prestazioni delle query: funzionalità rapide ed efficienti di ricerca dei vicini più prossimi.

• Inserimento dei dati: requisiti esistenti del modello di dati. Support per diversi formati di dati e facilità di inserimento.

• Filtraggio e classificazione: meccanismi avanzati di filtraggio e classificazione per i risultati recuperati.

• Integrazione: perfetta integrazione con altri sistemi e strumenti tramite i nostri protocolli. APIs

• Persistenza e durata: opzioni di persistenza e durabilità adeguate (in memoria o basate su disco).

• Concorrenza e coerenza: gestione efficiente dell'accesso simultaneo e della coerenza dei dati.

• Licenze e costi: valutazione del modello di licenza, dei costi iniziali e correnti e del legame con il fornitore.

• Community e supporto: community vivace e documentazione completa.

• Sicurezza e conformità: rispetto dei requisiti di sicurezza e conformità necessari.