Prasyarat untuk penyimpanan vektor Anda sendiri untuk basis pengetahuan

Untuk menyimpan embeddings vektor tempat dokumen Anda dikonversi, Anda menggunakan penyimpanan vektor. Jika Anda lebih suka Amazon Bedrock untuk secara otomatis membuat indeks vektor di Amazon OpenSearch Tanpa Server untuk Anda, lewati prasyarat ini dan lanjutkan ke. Buat basis pengetahuan di Amazon Bedrock Knowledge Bases

Jika Anda ingin menyimpan penyematan vektor biner alih-alih penyematan vektor floating-point (float32) standar, maka Anda harus menggunakan penyimpanan vektor yang mendukung vektor biner. Amazon OpenSearch Serverless saat ini adalah satu-satunya penyimpanan vektor yang mendukung penyimpanan vektor biner.

Anda dapat mengatur penyimpanan vektor Anda sendiri yang didukung untuk mengindeks representasi embeddings vektor data Anda. Anda membuat bidang untuk data berikut:

• Bidang untuk vektor yang dihasilkan dari teks di sumber data Anda dengan model embeddings yang Anda pilih.

• Bidang untuk potongan teks yang diekstrak dari file di sumber data Anda.

• Bidang untuk metadata file sumber yang dikelola Amazon Bedrock.

• (Jika Anda menggunakan database Amazon Aurora dan ingin mengatur pemfilteran pada metadata) Bidang untuk metadata yang Anda kaitkan dengan file sumber Anda. Jika Anda berencana untuk mengatur pemfilteran di toko vektor lain, Anda tidak perlu menyiapkan bidang ini untuk pemfilteran.

Anda dapat mengenkripsi toko vektor pihak ketiga dengan KMS kunci. Untuk informasi selengkapnya, lihat Enkripsi sumber daya basis pengetahuan.

Pilih tab yang sesuai dengan layanan penyimpanan vektor yang akan Anda gunakan untuk membuat indeks vektor Anda.

Amazon OpenSearch Serverless

1. Untuk mengonfigurasi izin dan membuat koleksi pencarian vektor di Amazon OpenSearch Tanpa Server di AWS Management Console, ikuti langkah 1 dan 2 di Bekerja dengan koleksi pencarian vektor di Panduan Pengembang OpenSearch Layanan Amazon. Perhatikan pertimbangan berikut saat menyiapkan koleksi Anda:

   1. Berikan koleksi nama dan deskripsi pilihan Anda.

   2. Untuk membuat koleksi Anda pribadi, pilih Standard create for the Security. Kemudian, di bagian Pengaturan akses jaringan, pilih VPCsebagai jenis Akses dan pilih VPC titik akhir. Untuk informasi selengkapnya tentang menyiapkan VPC titik akhir untuk koleksi Amazon OpenSearch Tanpa Server, lihat Mengakses Amazon OpenSearch Tanpa Server menggunakan titik akhir antarmuka ()AWS PrivateLink di Panduan Pengembang Layanan Amazon. OpenSearch

2. Setelah koleksi dibuat, perhatikan Koleksi ARN saat Anda membuat basis pengetahuan.

3. Di panel navigasi kiri, pilih Koleksi di bawah Tanpa Server. Kemudian pilih koleksi pencarian vektor Anda.

4. Pilih tab Indeks. Kemudian pilih Buat indeks vektor.

5. Di bagian Detail indeks vektor, masukkan nama untuk indeks Anda di bidang nama indeks vektor.

6. Di bagian Bidang vektor, pilih Tambahkan bidang vektor. Amazon Bedrock menyimpan embeddings vektor untuk sumber data Anda di bidang ini. Berikan konfigurasi berikut:

   • Nama bidang vektor — Berikan nama untuk bidang (misalnya,embeddings).

   • Mesin — Mesin vektor yang digunakan untuk pencarian. Pilih Faiss.

   • Dimensi — Jumlah dimensi dalam vektor. Lihat tabel berikut untuk menentukan berapa banyak dimensi yang harus dikandung vektor:

     Model	Dimensi
     Titan Embeddings G1 - Teks	1,536
     Titan V2 Embeddings - Teks	1,024
     Cohere Embed Bahasa Inggris	1,024
     Cohere Embed Multilingual	1,024

   • Metrik jarak — Metrik yang digunakan untuk mengukur kesamaan antara vektor. Kami merekomendasikan menggunakan Euclidean.

7. Perluas bagian manajemen Metadata dan tambahkan dua bidang untuk mengonfigurasi indeks vektor untuk menyimpan metadata tambahan yang dapat diambil oleh basis pengetahuan dengan vektor. Tabel berikut menjelaskan bidang dan nilai yang akan ditentukan untuk setiap bidang:

   Deskripsi bidang	Bidang pemetaan	Tipe data	Dapat disaring
   Amazon Bedrock memotong teks mentah dari data Anda dan menyimpan potongan di bidang ini.	Nama pilihan Anda (misalnya,text)	String	True
   Amazon Bedrock menyimpan metadata yang terkait dengan basis pengetahuan Anda di bidang ini.	Nama pilihan Anda (misalnya,bedrock-metadata)	String	False

8. Catat nama yang Anda pilih untuk nama indeks vektor, nama bidang vektor, dan nama bidang pemetaan manajemen metadata saat Anda membuat basis pengetahuan. Lalu pilih Buat.

Setelah indeks vektor dibuat, Anda dapat melanjutkan untuk membuat basis pengetahuan Anda. Tabel berikut merangkum di mana Anda akan memasukkan setiap informasi yang Anda catat.

Bidang	Bidang yang sesuai dalam pengaturan basis pengetahuan (Konsol)	Bidang yang sesuai dalam pengaturan basis pengetahuan (API)	Deskripsi
Koleksi ARN	Koleksi ARN	koleksi ARN	Nama Sumber Daya Amazon (ARN) dari koleksi pencarian vektor.
Nama indeks vektor	Nama indeks vektor	vectorIndexName	Nama indeks vektor.
Nama bidang vektor	Bidang vektor	vectorField	Nama bidang tempat menyimpan embeddings vektor untuk sumber data Anda.
Manajemen metadata (bidang pemetaan pertama)	Bidang teks	textField	Nama bidang untuk menyimpan teks mentah dari sumber data Anda.
Manajemen metadata (bidang pemetaan kedua)	Bidang metadata yang dikelola batuan dasar	metadataField	Nama bidang tempat menyimpan metadata yang dikelola Amazon Bedrock.

Untuk dokumentasi lebih rinci tentang menyiapkan penyimpanan vektor di Amazon OpenSearch Tanpa Server, lihat Bekerja dengan koleksi pencarian vektor di Panduan Pengembang OpenSearch Layanan Amazon.

Amazon Aurora (RDS)

1. Buat klaster, skema, dan tabel database Amazon Aurora (DB) dengan mengikuti langkah-langkah di Menggunakan Aurora SQL Postgre sebagai basis pengetahuan. Saat Anda membuat tabel, konfigurasikan dengan kolom dan tipe data berikut. Anda dapat menggunakan nama kolom yang Anda sukai alih-alih yang tercantum dalam tabel berikut. Catat nama kolom yang Anda pilih sehingga Anda dapat memberikannya selama pengaturan basis pengetahuan.

   Nama kolom	Tipe data	Bidang yang sesuai dalam pengaturan basis pengetahuan (Konsol)	Bidang yang sesuai dalam pengaturan basis pengetahuan (API)	Deskripsi
   id	UUIDkunci utama	Kunci primer	primaryKeyField	Berisi pengidentifikasi unik untuk setiap catatan.
   menyematkan	vektor	Bidang vektor	vectorField	Berisi embeddings vektor dari sumber data.
   potongan	Teks	Bidang teks	textField	Berisi potongan teks mentah dari sumber data Anda.
   Metadata	JSON	Bidang metadata yang dikelola batuan dasar	metadataField	Berisi metadata yang diperlukan untuk melakukan atribusi sumber dan untuk mengaktifkan penyerapan dan kueri data

2. (Opsional) Jika Anda menambahkan metadata ke file Anda untuk pemfilteran, Anda juga harus membuat kolom untuk setiap atribut metadata dalam file Anda dan menentukan tipe data (teks, angka, atau boolean). Misalnya, jika atribut genre ada di sumber data Anda, Anda akan menambahkan kolom bernama genre dan menentukan text sebagai tipe data. Selama konsumsi data, kolom ini akan diisi dengan nilai atribut yang sesuai.

3. Konfigurasikan AWS Secrets Manager rahasia untuk cluster Aurora DB Anda dengan mengikuti langkah-langkah di Manajemen kata sandi dengan Amazon Aurora dan. AWS Secrets Manager

4. Catat informasi berikut setelah Anda membuat cluster DB dan mengatur rahasianya.

   Bidang dalam pengaturan basis pengetahuan (Konsol)	Bidang dalam pengaturan basis pengetahuan (API)	Deskripsi
   Amazon Aurora DB Cluster ARN	resourceArn	ARNCluster DB Anda.
   Nama basis data	databaseName	Nama database Anda
   Nama tabel	tableName	Nama tabel di cluster DB Anda
   Rahasia ARN	credentialsSecretArn	AWS Secrets Manager Kunci untuk cluster DB Anda ARN

Pinecone

catatan

Jika Anda menggunakan Pinecone, Anda setuju untuk mengizinkan AWS untuk mengakses sumber pihak ketiga yang ditunjuk atas nama Anda untuk menyediakan layanan penyimpanan vektor kepada Anda. Anda bertanggung jawab untuk mematuhi persyaratan pihak ketiga yang berlaku untuk penggunaan dan dan transfer data dari layanan pihak ketiga.

Untuk dokumentasi rinci tentang pengaturan penyimpanan vektor di Pinecone, lihat Biji Pinus sebagai basis pengetahuan untuk Amazon Bedrock.

Saat Anda mengatur penyimpanan vektor, perhatikan informasi berikut, yang akan Anda isi saat membuat basis pengetahuan:

• String koneksi - Titik akhir URL untuk halaman manajemen indeks Anda.

• Namespace — (Opsional) Namespace yang akan digunakan untuk menulis data baru ke database Anda. Untuk informasi selengkapnya, lihat Menggunakan ruang nama.

Ada konfigurasi tambahan yang harus Anda berikan saat membuat Pinecone indeks:

• Nama — Nama indeks vektor. Pilih nama yang valid pilihan Anda. Kemudian, saat Anda membuat basis pengetahuan Anda, masukkan nama yang Anda pilih di bidang nama indeks vektor.

• Dimensi — Jumlah dimensi dalam vektor. Lihat tabel berikut untuk menentukan berapa banyak dimensi yang harus dikandung vektor.

  Model	Dimensi
  Titan Embeddings G1 - Teks	1,536
  Titan V2 Embeddings - Teks	1,024
  Cohere Embed Bahasa Inggris	1,024
  Cohere Embed Multilingual	1,024

• Metrik jarak — Metrik yang digunakan untuk mengukur kesamaan antara vektor. Kami menyarankan Anda bereksperimen dengan metrik yang berbeda untuk kasus penggunaan Anda. Kami merekomendasikan memulai dengan kesamaan kosinus.

Untuk mengakses Pinecone indeks, Anda harus memberikan Pinecone APIkunci untuk Amazon Bedrock melalui. AWS Secrets Manager

Untuk membuat rahasia untuk Anda Pinecone konfigurasi

1. Ikuti langkah-langkah di Buat AWS Secrets Manager rahasia, atur kunci sebagai apiKey dan nilai sebagai API kunci untuk mengakses Pinecone indeks.

2. Untuk menemukan API kunci Anda, buka konsol Pinecone Anda dan pilih API Keys.

3. Setelah Anda membuat rahasia, perhatikan ARN KMS kuncinya.

4. Lampirkan izin ke peran layanan Anda untuk mendekripsi KMS kunci dengan mengikuti langkah-langkahnya. ARN Izin untuk mendekripsi AWS Secrets Manager rahasia untuk penyimpanan vektor yang berisi basis pengetahuan Anda

5. Kemudian, ketika Anda membuat basis pengetahuan Anda, masukkan ARN di bidang rahasia ARN Kredensial.

Redis Enterprise Cloud

catatan

Jika Anda menggunakan Redis Enterprise Cloud, Anda setuju untuk mengizinkan AWS untuk mengakses sumber pihak ketiga yang ditunjuk atas nama Anda untuk menyediakan layanan penyimpanan vektor kepada Anda. Anda bertanggung jawab untuk mematuhi persyaratan pihak ketiga yang berlaku untuk penggunaan dan transfer data dari layanan pihak ketiga.

Untuk dokumentasi rinci tentang pengaturan penyimpanan vektor di Redis Enterprise Cloud, lihat Mengintegrasikan Redis Enterprise Cloud dengan Amazon Bedrock.

Saat Anda mengatur penyimpanan vektor, perhatikan informasi berikut, yang akan Anda isi saat membuat basis pengetahuan:

• Endpoint URL — Endpoint publik URL untuk database Anda.

• Nama indeks vektor — Nama indeks vektor untuk database Anda.

• Bidang vektor — Nama bidang tempat penyematan vektor akan disimpan. Lihat tabel berikut untuk menentukan berapa banyak dimensi yang harus dikandung vektor.

  Model	Dimensi
  Titan Embeddings G1 - Teks	1,536
  Titan V2 Embeddings - Teks	1,024
  Cohere Embed Bahasa Inggris	1,024
  Cohere Embed Multilingual	1,024

• Bidang teks — Nama bidang tempat Amazon Bedrock menyimpan potongan teks mentah.

• Bidang metadata yang dikelola oleh batuan dasar — Nama bidang tempat Amazon Bedrock menyimpan metadata yang terkait dengan basis pengetahuan Anda.

Untuk mengakses Redis Enterprise Cloud cluster, Anda harus memberikan Redis Enterprise Cloud konfigurasi keamanan ke Amazon Bedrock melalui. AWS Secrets Manager

Untuk membuat rahasia untuk Anda Redis Enterprise Cloud konfigurasi

1. Aktifkan TLS untuk menggunakan database Anda dengan Amazon Bedrock dengan mengikuti langkah-langkah di Transport Layer Security (TLS).

2. Ikuti langkah-langkah di Buat AWS Secrets Manager rahasia. Siapkan kunci berikut dengan nilai yang sesuai dari Anda Redis Enterprise Cloud konfigurasi dalam rahasia:

   • username— Nama pengguna untuk mengakses Redis Enterprise Cloud basis data. Untuk menemukan nama pengguna Anda, lihat di bawah bagian Keamanan database Anda di Konsol Redis.

   • password— Kata sandi untuk mengakses Redis Enterprise Cloud basis data. Untuk menemukan kata sandi Anda, lihat di bawah bagian Keamanan database Anda di Konsol Redis.

   • serverCertificate— Isi sertifikat dari otoritas Redis Cloud Certificate. Unduh sertifikat server dari Konsol Admin Redis dengan mengikuti langkah-langkah di Unduh sertifikat.

   • clientPrivateKey— Kunci pribadi sertifikat dari otoritas Redis Cloud Certificate. Unduh sertifikat server dari Konsol Admin Redis dengan mengikuti langkah-langkah di Unduh sertifikat.

   • clientCertificate— Kunci publik sertifikat dari otoritas Redis Cloud Certificate. Unduh sertifikat server dari Konsol Admin Redis dengan mengikuti langkah-langkah di Unduh sertifikat.

3. Setelah Anda membuat rahasianya, perhatikan rahasianyaARN. Kemudian, ketika Anda membuat basis pengetahuan Anda, masukkan ARN di bidang rahasia ARN Kredensial.

MongoDB Atlas

catatan

Jika Anda menggunakan MongoDB Atlas, Anda setuju untuk AWS mengizinkan untuk mengakses sumber pihak ketiga yang ditunjuk atas nama Anda untuk menyediakan layanan penyimpanan vektor kepada Anda. Anda bertanggung jawab untuk mematuhi persyaratan pihak ketiga yang berlaku untuk penggunaan dan dan transfer data dari layanan pihak ketiga.

Untuk dokumentasi rinci tentang menyiapkan penyimpanan vektor di MongoDB Atlas, lihat MongoDB Atlas sebagai basis pengetahuan untuk Amazon Bedrock.

Ketika Anda mengatur penyimpanan vektor, perhatikan informasi berikut yang akan Anda tambahkan ketika Anda membuat basis pengetahuan:

• Endpoint URL — Titik akhir cluster URL MongoDB Atlas Anda.

• Nama database — Nama database di cluster MongoDB Atlas Anda.

• Nama koleksi — Nama koleksi dalam database Anda.

• Rahasia kredensial ARN - Nama Sumber Daya Amazon (ARN) dari rahasia yang Anda buat di AWS Secrets Manager yang berisi nama pengguna dan kata sandi untuk pengguna database di cluster MongoDB Atlas Anda.

• (Opsional) KMS Kunci yang dikelola pelanggan untuk rahasia Kredensil Anda ARN — jika Anda mengenkripsi rahasia kredensialnya, ARN berikan kunci tersebut KMS agar Amazon Bedrock dapat mendekripsi.

Ada konfigurasi tambahan untuk pemetaan Field yang harus Anda berikan saat membuat indeks MongoDB Atlas:

• Nama indeks vektor — Nama Indeks Pencarian Vektor MongoDB Atlas pada koleksi Anda.

• Nama bidang vektor — Nama bidang tempat Amazon Bedrock harus menyimpan embeddings vektor.

• Nama bidang teks - Nama bidang tempat Amazon Bedrock harus menyimpan teks potongan mentah.

• Nama bidang metadata — Nama bidang tempat Amazon Bedrock harus menyimpan metadata atribusi sumber.

(Opsional) Agar Amazon Bedrock terhubung ke cluster MongoDB Atlas Anda AWS PrivateLink, lihat RAGalur kerja dengan MongoDB Atlas menggunakan Amazon Bedrock.