Opsi basis data vektor

AWS menawarkan beragam solusi basis data vektor untuk mendukung berbagai kasus penggunaan dan persyaratan dalam aplikasi AI generatif. Opsi ini dapat dikategorikan secara luas ke dalam layanan database individu dan penawaran layanan terkelola, masing-masing dengan karakteristik dan keunggulan yang berbeda. Memahami opsi ini sangat penting bagi organisasi yang ingin menerapkan kemampuan pencarian vektor secara efektif sambil mempertahankan kinerja, skalabilitas, dan efisiensi biaya yang optimal.

Untuk informasi selengkapnya tentang solusi database vektor, lihat bagian berikut:

• Opsi basis data vektor individu

• Opsi layanan terkelola

Opsi basis data vektor individu

Opsi database vektor individual AWS termasuk Amazon Kendra, Amazon OpenSearch Service, dan Amazon RDS for PostgreSQL dengan pgvector. (Ekstensi sumber terbuka, pgvector menambahkan kemampuan untuk menyimpan dan mencari embeddings vektor yang dihasilkan pembelajaran mesin (ML).) Solusi ini menawarkan pendekatan yang berbeda untuk pencarian vektor, memungkinkan organisasi untuk memilih berdasarkan infrastruktur yang ada, persyaratan teknis, dan kasus penggunaan spesifik.

Amazon Kendra

Amazon Kendra adalah layanan pencarian cerdas tingkat perusahaan yang menggunakan pemrosesan bahasa alami dan algoritme pembelajaran mesin canggih untuk mengembalikan jawaban spesifik atas pertanyaan penelusuran dari data Anda. Amazon Kendra menyederhanakan implementasi fungsionalitas pencarian, menjadikannya solusi backend yang efektif untuk aplikasi AI generatif.

Fitur utama lainnya dari Amazon Kendra adalah sebagai berikut:

• Koneksi asli ke lebih dari 40 sumber data

• Kemampuan persiapan data bawaan

• Pengaturan cepat yang tidak memerlukan keahlian teknis yang mendalam

Manfaat Amazon Kendra antara lain sebagai berikut

• Pemrosesan data otomatis (chunking, konsumsi, pengambilan)

• Opsi kustomisasi yang kuat:

  • Pencarian facet

  • Analisis pencarian

  • Menyetel relevansi pencarian

• Akses terprogram sederhana melalui AWS SDK untuk Python (Boto3)

Untuk informasi selengkapnya, lihat Manfaat Amazon Kendra di Panduan Pengembang Amazon Kendra.

OpenSearch Layanan Amazon

Amazon OpenSearch Service adalah layanan terkelola yang membantu Anda menyebarkan, mengoperasikan, dan menskalakan kluster OpenSearch Layanan di. AWS Cloud

Kemampuan inti OpenSearch Layanan meliputi:

• Mesin pencari dan analitik sumber terbuka

• Arsitektur terdistribusi

• Pemrosesan data waktu nyata

Beberapa keuntungan menggunakan OpenSearch Layanan antara lain sebagai berikut:

• Skalabilitas horisontal

• RESTful Dukungan API

• Menangani data terstruktur dan tidak terstruktur

• Analisis data waktu nyata

• Cocokkan untuk berbagai ukuran penyebaran

Untuk informasi selengkapnya, lihat Fitur OpenSearch Layanan Amazon di Panduan Pengembang OpenSearch Layanan.

Amazon RDS untuk PostgreSQL dengan pgvector

Amazon RDS untuk PostgreSQL dengan pgvectormenggabungkan layanan database relasional AWS terkelola dengan ekstensi pemrosesan vektor PostgreSQL. Kombinasi ini memungkinkan organisasi untuk menyimpan dan menanyakan vektor dimensi tinggi sambil mempertahankan Amazon RDS. Solusi ini sangat cocok untuk aplikasi AI generatif yang memerlukan operasi vektor real-time tanpa overhead mengelola infrastruktur database.

Manfaat utama Amazon RDS untuk PostgreSQL dengan pgvector termasuk yang berikut:

• Ketersediaan tinggi

• Failover otomatis

• Hemat biaya () pay-per-use

• Pemantauan bawaan

• Integrasi data vektor waktu nyata

Untuk informasi selengkapnya, lihat Keuntungan Amazon RDS di Panduan Pengguna Layanan Amazon Relational Database Service.

Opsi layanan terkelola

Amazon Bedrock Knowledge Bases mewakili pendekatan yang dikelola AWS sepenuhnya untuk implementasi database vektor. Fleksibilitas layanan dalam opsi penyimpanan, dikombinasikan dengan fitur manajemen otomatisnya, membuatnya sangat berharga bagi organisasi yang ingin menerapkan RAG tanpa mengelola infrastruktur yang kompleks.

Dengan Pangkalan Pengetahuan Amazon Bedrock, Anda dapat membuat, memelihara, dan menanyakan basis pengetahuan yang menyempurnakan model fondasi Anda menggunakan RAG. Layanan ini menyederhanakan proses kompleks penerapan RAG dengan mengelola seluruh konsumsi data, vektorisasi, dan pipa pengambilan.

Manfaat utama dari Pangkalan Pengetahuan Amazon Bedrock meliputi yang berikut:

Pemrosesan data yang disederhanakan

• Konsumsi dan chunking data otomatis

• Ekstraksi teks bawaan dari berbagai format file

• Generasi penyematan vektor terkelola

• Ekstraksi dan pengindeksan metadata otomatis

Implementasi RAG yang efisien

• Strategi pengambilan yang telah dikonfigurasi sebelumnya

• Optimalisasi jendela konteks otomatis

• Penyetelan relevansi bawaan

• Kemampuan pencarian semantik di luar kotak

Keamanan dan tata kelola

• Kontrol terintegrasi AWS Identity and Access Management (IAM)

• Enkripsi data saat istirahat dan dalam perjalanan

• Dukungan VPC

• Audit logging dengan AWS CloudTrail

Amazon Bedrock Knowledge Bases mendukung beberapa opsi penyimpanan vektor. Daftar berikut memberikan ikhtisar fitur utama masing-masing opsi:

• Amazon Aurora PostgreSQL dengan pgvector

  • Penyimpanan vektor yang kompatibel dengan PostgreSQL

  • Terintegrasi dengan database Aurora yang ada

  • Hemat biaya untuk penerapan yang lebih kecil

  • Baik untuk data terstruktur dan tidak terstruktur hibrid

• Analisis Amazon Neptunus

  • Pencarian vektor berbasis grafik

  • Menggabungkan data hubungan dengan vektor

  • Ideal untuk kasus penggunaan data yang terhubung

  • Kemampuan kueri tingkat lanjut

• Amazon Tanpa OpenSearch Server

  • Pengalaman tanpa server yang dikelola sepenuhnya

  • Penskalaan otomatis berdasarkan beban kerja

  • Kemampuan K-nn bawaan

  • Hemat biaya untuk berbagai beban kerja

• Pinecone

  • Database vektor yang dibangun khusus

  • Kinerja tinggi dalam skala

  • Fitur pencarian kesamaan tingkat lanjut

  • Dikelola melalui konsol Amazon Bedrock

• Redis Awan Perusahaan

  • Kemampuan pencarian vektor dalam memori

  • Kinerja latensi rendah

  • Pencarian vektor real-time

  • Kemampuan caching terintegrasi

Saat memilih penyimpanan vektor yang didukung oleh Pangkalan Pengetahuan Amazon Bedrock, pertimbangkan karakteristik utama berikut dari setiap opsi:

• Aurora PostgreSQL — Data relasional dengan kemampuan vektor

• Neptunus Analytics — Representasi pengetahuan berbasis grafik

• OpenSearch Layanan - Fokus pencarian dan analitik

• Pinecone — Kinerja pencarian vektor murni

• Redis Enterprise Cloud — Kebutuhan real-time dan latensi rendah

Setiap implementasi menawarkan keuntungan unik berikut:

• Aurora PostgreSQL — Terbaik untuk aplikasi yang membutuhkan kemampuan SQL dan vektor tradisional

• Neptunus Analytics — Ideal untuk kueri berbasis hubungan yang kompleks dan grafik pengetahuan

• OpenSearch Layanan - Kuat dalam pencarian teks lengkap dan analitik

• Pinecone — Dioptimalkan untuk operasi vektor murni

• Redis Enterprise Cloud — Terbaik untuk aplikasi real-time

Berikut adalah beberapa poin penting yang perlu dipertimbangkan ketika memilih penyimpanan vektor untuk solusi RAG Anda:

• Skalabilitas — Kemampuan untuk menangani kumpulan data yang besar dan berkembang secara efisien.

• Kinerja kueri — Kemampuan pencarian tetangga terdekat yang cepat dan efisien.

• Konsumsi data — Persyaratan model data yang ada. Support untuk beragam format data dan kemudahan konsumsi.

• Pemfilteran dan peringkat - Mekanisme penyaringan dan peringkat lanjutan untuk hasil yang diambil.

• Integrasi — Integrasi yang mulus dengan sistem dan alat lain melalui APIs atau protokol.

• Ketekunan dan daya tahan — Pilihan persistensi dan daya tahan yang sesuai (dalam memori atau berbasis disk).

• Konkurensi dan konsistensi — Penanganan yang efisien dari akses bersamaan dan konsistensi data.

• Perizinan dan biaya — Evaluasi model lisensi, biaya dimuka dan berkelanjutan, dan penguncian vendor.

• Komunitas dan dukungan - Komunitas yang dinamis dan dokumentasi yang komprehensif.

• Keamanan dan kepatuhan — Kepatuhan terhadap persyaratan keamanan dan kepatuhan yang diperlukan.