Siapkan indeks vektor untuk basis pengetahuan Anda di penyimpanan vektor yang didukung - Amazon Bedrock

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Siapkan indeks vektor untuk basis pengetahuan Anda di penyimpanan vektor yang didukung

Anda menyiapkan indeks vektor yang didukung untuk mengindeks sumber data Anda dengan membuat bidang untuk menyimpan data berikut.

  • Vektor yang dihasilkan dari teks di sumber data Anda oleh model embeddings yang Anda pilih.

  • Potongan teks yang diekstrak dari file di sumber data Anda.

  • Metadata terkait dengan basis pengetahuan Anda yang dikelola Amazon Bedrock.

  • (Jika Anda menggunakan database Amazon Aurora dan ingin mengatur pemfilteran) Metadata yang Anda kaitkan dengan file sumber Anda. Jika Anda berencana untuk mengatur pemfilteran di toko vektor lain, Anda tidak perlu menyiapkan bidang ini untuk pemfilteran.

Pilih tab yang sesuai dengan layanan yang akan Anda gunakan untuk membuat indeks vektor Anda.

catatan

Jika Anda lebih suka Amazon Bedrock untuk secara otomatis membuat indeks vektor di Amazon OpenSearch Tanpa Server untuk Anda, lewati prasyarat ini dan lanjutkan ke. Buat basis pengetahuan Untuk mempelajari cara mengatur indeks vektor, pilih tab yang sesuai dengan metode pilihan Anda dan ikuti langkah-langkahnya.

Amazon OpenSearch Serverless

  1. Untuk mengonfigurasi izin dan membuat koleksi pencarian vektor di Amazon OpenSearch Tanpa Server di AWS Management Console, ikuti langkah 1 dan 2 di Bekerja dengan koleksi pencarian vektor di Panduan Pengembang OpenSearch Layanan Amazon. Perhatikan pertimbangan berikut saat menyiapkan koleksi Anda:

    1. Berikan koleksi nama dan deskripsi pilihan Anda.

    2. Untuk membuat koleksi Anda pribadi, pilih Standard create for the Security. Kemudian, di bagian Pengaturan akses jaringan, pilih VPC sebagai jenis Akses dan pilih titik akhir VPC. Untuk informasi selengkapnya tentang menyiapkan titik akhir VPC untuk koleksi Amazon OpenSearch Tanpa Server, lihat Mengakses Amazon OpenSearch Tanpa Server menggunakan titik akhir antarmuka ()AWS PrivateLink di Panduan Pengembang Layanan Amazon. OpenSearch

  2. Setelah koleksi dibuat, perhatikan ARN Koleksi saat Anda membuat basis pengetahuan.

  3. Di panel navigasi kiri, pilih Koleksi di bawah Tanpa Server. Kemudian pilih koleksi pencarian vektor Anda.

  4. Pilih tab Indeks. Kemudian pilih Buat indeks vektor.

  5. Di bagian Detail indeks vektor, masukkan nama untuk indeks Anda di bidang nama indeks vektor.

  6. Di bagian Bidang vektor, pilih Tambahkan bidang vektor. Amazon Bedrock menyimpan embeddings vektor untuk sumber data Anda di bidang ini. Berikan konfigurasi berikut:

    • Nama bidang vektor — Berikan nama untuk bidang (misalnya,embeddings).

    • Mesin — Mesin vektor yang digunakan untuk pencarian. Pilih faiss.

    • Dimensi — Jumlah dimensi dalam vektor. Lihat tabel berikut untuk menentukan berapa banyak dimensi yang harus dikandung vektor:

      Model Dimensi
      TitanEmbeddings G1 - Teks 1,536
      CohereEmbedBahasa Inggris 1,024
      CohereEmbedMultilingual 1,024

    • Metrik jarak — Metrik yang digunakan untuk mengukur kesamaan antara vektor. Kami merekomendasikan menggunakan Euclidean.

  7. Perluas bagian manajemen Metadata dan tambahkan dua bidang untuk mengonfigurasi indeks vektor untuk menyimpan metadata tambahan yang dapat diambil oleh basis pengetahuan dengan vektor. Tabel berikut menjelaskan bidang dan nilai yang akan ditentukan untuk setiap bidang:

    Deskripsi bidang Bidang pemetaan Tipe data Dapat disaring
    Amazon Bedrock memotong teks mentah dari data Anda dan menyimpan potongan di bidang ini. Nama pilihan Anda (misalnya,text) String True
    Amazon Bedrock menyimpan metadata yang terkait dengan basis pengetahuan Anda di bidang ini. Nama pilihan Anda (misalnya,bedrock-metadata) String False

  8. Catat nama yang Anda pilih untuk nama indeks vektor, nama bidang vektor, dan nama bidang pemetaan manajemen metadata saat Anda membuat basis pengetahuan. Lalu pilih Buat.

Setelah indeks vektor dibuat, Anda dapat melanjutkan untuk membuat basis pengetahuan Anda. Tabel berikut merangkum di mana Anda akan memasukkan setiap informasi yang Anda catat.

Bidang Bidang yang sesuai dalam pengaturan basis pengetahuan (Konsol) Bidang yang sesuai dalam pengaturan basis pengetahuan (API) Deskripsi
Koleksi ARN Koleksi ARN CollectionARN Nama Sumber Daya Amazon (ARN) dari koleksi pencarian vektor.
Nama indeks vektor Nama indeks vektor vectorIndexName Nama indeks vektor.
Nama bidang vektor Bidang vektor VectorField Nama bidang tempat menyimpan embeddings vektor untuk sumber data Anda.
Manajemen metadata (bidang pemetaan pertama) Bidang teks TextField Nama bidang untuk menyimpan teks mentah dari sumber data Anda.
Manajemen metadata (bidang pemetaan kedua) Bidang metadata yang dikelola batuan dasar MetaDataField Nama bidang tempat menyimpan metadata yang dikelola Amazon Bedrock.

Untuk dokumentasi lebih rinci tentang menyiapkan penyimpanan vektor di Amazon OpenSearch Tanpa Server, lihat Bekerja dengan koleksi pencarian vektor di Panduan Pengembang OpenSearch Layanan Amazon.

Amazon Aurora

  1. Buat klaster, skema, dan tabel database Amazon Aurora (DB) dengan mengikuti langkah-langkah di Mempersiapkan PostgreSQL Aurora untuk digunakan sebagai Basis Pengetahuan. Saat Anda membuat tabel, konfigurasikan dengan kolom dan tipe data berikut. Anda dapat menggunakan nama kolom yang Anda sukai, bukan yang tercantum dalam tabel berikut. Catat nama kolom yang Anda pilih sehingga Anda dapat memberikannya selama pengaturan basis pengetahuan.

    Nama kolom Tipe data Bidang yang sesuai dalam pengaturan basis pengetahuan (Konsol) Bidang yang sesuai dalam pengaturan basis pengetahuan (API) Deskripsi
    id Kunci utama UUID Kunci primer primaryKeyField Berisi pengidentifikasi unik untuk setiap catatan.
    menyematkan vektor Bidang vektor vectorField Berisi embeddings vektor dari sumber data.
    potongan Teks Bidang teks textField Berisi potongan teks mentah dari sumber data Anda.
    Metadata JSON Bidang metadata yang dikelola batuan dasar metadataField Berisi metadata yang diperlukan untuk melakukan atribusi sumber dan untuk mengaktifkan penyerapan dan kueri data

  2. (Opsional) Jika Anda menambahkan metadata ke file Anda untuk pemfilteran, Anda juga harus membuat kolom untuk setiap atribut metadata dalam file Anda dan menentukan tipe data (teks, angka, atau boolean). Misalnya, jika atribut genre ada di sumber data Anda, Anda akan menambahkan kolom bernama genre dan menentukan text sebagai tipe data. Selama konsumsi, kolom ini akan diisi dengan nilai atribut yang sesuai.

  3. Konfigurasikan AWS Secrets Manager rahasia untuk cluster Aurora DB Anda dengan mengikuti langkah-langkah di Manajemen kata sandi dengan Amazon Aurora dan. AWS Secrets Manager

  4. Catat informasi berikut setelah Anda membuat cluster DB dan mengatur rahasianya.

    Bidang dalam pengaturan basis pengetahuan (Konsol) Bidang dalam pengaturan basis pengetahuan (API) Deskripsi
    Amazon Aurora DB Cluster ARN resourceArn ARN dari cluster DB Anda.
    Nama basis data databaseName Nama database Anda
    Nama tabel tableName Nama tabel di cluster DB Anda
    Rahasia ARN credentialsSecretArn ARN AWS Secrets Manager kunci untuk cluster DB Anda
Biji pinus
catatan

Jika Anda menggunakanPinecone, Anda setuju untuk mengizinkan AWS untuk mengakses sumber pihak ketiga yang ditunjuk atas nama Anda untuk menyediakan layanan penyimpanan vektor kepada Anda. Anda bertanggung jawab untuk mematuhi persyaratan pihak ketiga yang berlaku untuk penggunaan dan dan transfer data dari layanan pihak ketiga.

Untuk dokumentasi mendetail tentang menyiapkan penyimpanan vektorPinecone, lihat Biji Pinus sebagai Basis Pengetahuan untuk Amazon Bedrock.

Saat Anda mengatur penyimpanan vektor, perhatikan informasi berikut, yang akan Anda isi saat membuat basis pengetahuan:

  • String koneksi - URL titik akhir untuk halaman manajemen indeks Anda.

  • Namespace — (Opsional) Namespace yang akan digunakan untuk menulis data baru ke database Anda. Untuk informasi selengkapnya, lihat Menggunakan ruang nama.

Ada konfigurasi tambahan yang harus Anda berikan saat membuat Pinecone indeks:

  • Nama — Nama indeks vektor. Pilih nama yang valid pilihan Anda. Kemudian, saat Anda membuat basis pengetahuan Anda, masukkan nama yang Anda pilih di bidang nama indeks vektor.

  • Dimensi — Jumlah dimensi dalam vektor. Lihat tabel berikut untuk menentukan berapa banyak dimensi yang harus dikandung vektor.

    Model Dimensi
    TitanEmbeddings G1 - Teks 1,536
    CohereEmbedBahasa Inggris 1,024
    CohereEmbedMultilingual 1,024

  • Metrik jarak — Metrik yang digunakan untuk mengukur kesamaan antara vektor. Kami menyarankan Anda bereksperimen dengan metrik yang berbeda untuk kasus penggunaan Anda. Kami merekomendasikan memulai dengan kesamaan kosinus.

Untuk mengakses Pinecone indeks Anda, Anda harus memberikan kunci Pinecone API Anda ke Amazon Bedrock melalui. AWS Secrets Manager

Untuk menyiapkan rahasia untuk Pinecone konfigurasi Anda

  1. Ikuti langkah-langkah di Buat AWS Secrets Manager rahasia, atur kunci sebagai apiKey dan nilai sebagai kunci API untuk mengakses Pinecone indeks Anda.

  2. Untuk menemukan kunci API Anda, buka konsol Pinecone Anda dan pilih Kunci API.

  3. Setelah Anda membuat rahasia, perhatikan ARN dari kunci KMS.

  4. Lampirkan izin ke peran layanan Anda untuk mendekripsi ARN kunci KMS dengan mengikuti langkah-langkahnya. Izin untuk mendekripsi AWS Secrets Manager rahasia untuk penyimpanan vektor yang berisi basis pengetahuan Anda

  5. Nanti, saat Anda membuat basis pengetahuan Anda, masukkan ARN di bidang ARN rahasia Kredensial.

Awan Perusahaan Redis
catatan

Jika Anda menggunakanRedis Enterprise Cloud, Anda setuju untuk mengizinkan AWS untuk mengakses sumber pihak ketiga yang ditunjuk atas nama Anda untuk menyediakan layanan penyimpanan vektor kepada Anda. Anda bertanggung jawab untuk mematuhi persyaratan pihak ketiga yang berlaku untuk penggunaan dan transfer data dari layanan pihak ketiga.

Untuk dokumentasi mendetail tentang menyiapkan penyimpanan vektorRedis Enterprise Cloud, lihat Mengintegrasikan Redis Enterprise Cloud dengan Amazon Bedrock.

Saat Anda mengatur penyimpanan vektor, perhatikan informasi berikut, yang akan Anda isi saat membuat basis pengetahuan:

  • Endpoint URL — URL endpoint publik untuk database Anda.

  • Nama indeks vektor — Nama indeks vektor untuk database Anda.

  • Bidang vektor — Nama bidang tempat penyematan vektor akan disimpan. Lihat tabel berikut untuk menentukan berapa banyak dimensi yang harus dikandung vektor.

    Model Dimensi
    TitanEmbeddings G1 - Teks 1,536
    CohereEmbedBahasa Inggris 1,024
    CohereEmbedMultilingual 1,024

  • Bidang teks — Nama bidang tempat Amazon Bedrock menyimpan potongan teks mentah.

  • Bidang metadata yang dikelola oleh batuan dasar — Nama bidang tempat Amazon Bedrock menyimpan metadata yang terkait dengan basis pengetahuan Anda.

Untuk mengakses Redis Enterprise Cloud klaster Anda, Anda harus menyediakan konfigurasi Redis Enterprise Cloud keamanan Anda ke Amazon Bedrock melalui file. AWS Secrets Manager

Untuk menyiapkan rahasia untuk Redis Enterprise Cloud konfigurasi Anda

  1. Aktifkan TLS untuk menggunakan database Anda dengan Amazon Bedrock dengan mengikuti langkah-langkah di Transport Layer Security (TLS).

  2. Ikuti langkah-langkahnya di Buat AWS Secrets Manager Rahasia. Siapkan kunci berikut dengan nilai yang sesuai dari Redis Enterprise Cloud konfigurasi Anda secara rahasia:

    • username— Nama pengguna untuk mengakses Redis Enterprise Cloud database Anda. Untuk menemukan nama pengguna Anda, lihat di bawah bagian Keamanan database Anda di Konsol Redis.

    • password— Kata sandi untuk mengakses Redis Enterprise Cloud database Anda. Untuk menemukan kata sandi Anda, lihat di bawah bagian Keamanan database Anda di Konsol Redis.

    • serverCertificate— Isi sertifikat dari otoritas Redis Cloud Certificate. Unduh sertifikat server dari Konsol Admin Redis dengan mengikuti langkah-langkah di Unduh sertifikat.

    • clientPrivateKey— Kunci pribadi sertifikat dari otoritas Redis Cloud Certificate. Unduh sertifikat server dari Konsol Admin Redis dengan mengikuti langkah-langkah di Unduh sertifikat.

    • clientCertificate— Kunci publik sertifikat dari otoritas Redis Cloud Certificate. Unduh sertifikat server dari Konsol Admin Redis dengan mengikuti langkah-langkah di Unduh sertifikat.

  3. Setelah Anda membuat rahasia, perhatikan ARN-nya. Nanti, saat Anda membuat basis pengetahuan Anda, masukkan ARN di bidang ARN rahasia Kredensial.

MongoDB Atlas
catatan

Jika Anda menggunakan MongoDB Atlas, Anda setuju untuk AWS mengizinkan untuk mengakses sumber pihak ketiga yang ditunjuk atas nama Anda untuk menyediakan layanan penyimpanan vektor kepada Anda. Anda bertanggung jawab untuk mematuhi persyaratan pihak ketiga yang berlaku untuk penggunaan dan dan transfer data dari layanan pihak ketiga.

Untuk dokumentasi rinci tentang menyiapkan penyimpanan vektor di MongoDB Atlas, lihat MongoDB Atlas sebagai Basis Pengetahuan untuk Amazon Bedrock.

Ketika Anda mengatur penyimpanan vektor, perhatikan informasi berikut yang akan Anda tambahkan ketika Anda membuat basis pengetahuan:

  • URL Endpoint — URL endpoint dari cluster MongoDB Atlas Anda.

  • Nama database — Nama database di cluster MongoDB Atlas Anda.

  • Nama koleksi — Nama koleksi dalam database Anda.

  • Rahasia kredensyal ARN - Nama Sumber Daya Amazon (ARN) rahasia yang Anda buat di AWS Secrets Manager yang berisi nama pengguna dan kata sandi untuk pengguna database di cluster MongoDB Atlas Anda.

  • (Opsional) Kunci KMS yang dikelola pelanggan untuk ARN rahasia Kredensyal Anda — jika Anda mengenkripsi ARN rahasia kredensyal Anda, berikan kunci KMS sehingga Amazon Bedrock dapat mendekripsi.

Ada konfigurasi tambahan untuk pemetaan Field yang harus Anda berikan saat membuat indeks MongoDB Atlas:

  • Nama indeks vektor — Nama Indeks Pencarian Vektor MongoDB Atlas pada koleksi Anda.

  • Nama bidang vektor — Nama bidang tempat Amazon Bedrock harus menyimpan embeddings vektor.

  • Nama bidang teks - Nama bidang tempat Amazon Bedrock harus menyimpan teks potongan mentah.

  • Nama bidang metadata — Nama bidang tempat Amazon Bedrock harus menyimpan metadata atribusi sumber.

(Opsional) Agar Amazon Bedrock terhubung ke cluster MongoDB Atlas Anda melalui PrivateLink AWS, lihat alur kerja RAG dengan MongoDB Atlas menggunakan Amazon Bedrock.