Prasyarat untuk menggunakan penyimpanan vektor yang Anda buat untuk basis pengetahuan - Amazon Bedrock

Terjemahan disediakan oleh mesin penerjemah. Jika konten terjemahan yang diberikan bertentangan dengan versi bahasa Inggris aslinya, utamakan versi bahasa Inggris.

Prasyarat untuk menggunakan penyimpanan vektor yang Anda buat untuk basis pengetahuan

Untuk menyimpan embeddings vektor tempat dokumen Anda dikonversi, Anda menggunakan penyimpanan vektor. Pangkalan Pengetahuan Amazon Bedrock mendukung alur pembuatan cepat untuk beberapa penyimpanan vektor, jadi jika Anda lebih suka Amazon Bedrock secara otomatis membuat indeks vektor untuk Anda di salah satu penyimpanan vektor tersebut, lewati prasyarat ini dan lanjutkan ke. Buat basis pengetahuan dengan menghubungkan ke sumber data di Amazon Bedrock Knowledge Bases

Jika Anda ingin menyimpan penyematan vektor biner alih-alih penyematan vektor floating-point (float32) standar, maka Anda harus menggunakan penyimpanan vektor yang mendukung vektor biner.

catatan

Amazon OpenSearch Serverless dan Amazon OpenSearch Managed cluster adalah satu-satunya penyimpanan vektor yang mendukung penyimpanan vektor biner.

Anda dapat mengatur penyimpanan vektor Anda sendiri yang didukung untuk mengindeks representasi embeddings vektor data Anda. Anda membuat bidang untuk data berikut:

  • Bidang untuk vektor yang dihasilkan dari teks di sumber data Anda dengan model embeddings yang Anda pilih.

  • Bidang untuk potongan teks yang diekstrak dari file di sumber data Anda.

  • Bidang untuk metadata file sumber yang dikelola Amazon Bedrock.

  • (Jika Anda menggunakan database Amazon Aurora dan ingin mengatur pemfilteran pada metadata) Bidang untuk metadata yang Anda kaitkan dengan file sumber Anda. Jika Anda berencana untuk mengatur pemfilteran di toko vektor lain, Anda tidak perlu menyiapkan bidang ini untuk pemfilteran.

Anda dapat mengenkripsi toko vektor pihak ketiga dengan kunci KMS. Untuk informasi selengkapnya, lihat Enkripsi sumber daya basis pengetahuan.

Pilih tab yang sesuai dengan layanan penyimpanan vektor yang akan Anda gunakan untuk membuat indeks vektor Anda.

catatan

Pilihan model embeddings dan dimensi vektor Anda dapat memengaruhi pilihan penyimpanan vektor yang tersedia. Jika Anda tidak dapat menggunakan penyimpanan vektor pilihan Anda, pilih opsi yang kompatibel model embeddings dan dimensi vektor.

Amazon OpenSearch Serverless

  1. Untuk mengonfigurasi izin dan membuat koleksi pencarian vektor di Amazon OpenSearch Tanpa Server di AWS Management Console, ikuti langkah 1 dan 2 di Bekerja dengan koleksi pencarian vektor di Panduan Pengembang OpenSearch Layanan Amazon. Perhatikan pertimbangan berikut saat menyiapkan koleksi Anda:

    1. Berikan koleksi nama dan deskripsi pilihan Anda.

    2. Untuk membuat koleksi Anda pribadi, pilih Standard create for the Security. Kemudian, di bagian Pengaturan akses jaringan, pilih VPC sebagai jenis Akses dan pilih titik akhir VPC. Untuk informasi selengkapnya tentang menyiapkan titik akhir VPC untuk koleksi Amazon OpenSearch Tanpa Server, lihat Mengakses Amazon OpenSearch Tanpa Server menggunakan titik akhir antarmuka ()AWS PrivateLink di Panduan Pengembang Layanan Amazon. OpenSearch

  2. Setelah koleksi dibuat, perhatikan ARN Koleksi saat Anda membuat basis pengetahuan.

  3. Di panel navigasi kiri, pilih Koleksi di bawah Tanpa Server. Kemudian pilih koleksi pencarian vektor Anda.

  4. Pilih tab Indeks. Kemudian pilih Buat indeks vektor.

  5. Di bagian Detail indeks vektor, masukkan nama untuk indeks Anda di bidang nama indeks vektor.

  6. Di bagian Bidang vektor, pilih Tambahkan bidang vektor. Amazon Bedrock menyimpan embeddings vektor untuk sumber data Anda di bidang ini. Berikan konfigurasi berikut:

    • Nama bidang vektor — Berikan nama untuk bidang (misalnya,embeddings).

    • Mesin — Mesin vektor yang digunakan untuk pencarian. Pilih Faiss.

    • Dimensi — Jumlah dimensi dalam vektor. Lihat tabel berikut untuk menentukan berapa banyak dimensi vektor harus berisi:

      Model Dimensi
      TitanEmbeddings G1 - Teks 1,536
      TitanV2 Embeddings - Teks 1.024, 512, dan 256
      CohereEmbedBahasa Inggris 1,024
      CohereEmbedMultilingual 1,024

    • Metrik jarak — Metrik yang digunakan untuk mengukur kesamaan antara vektor. Kami merekomendasikan penggunaan Euclidean untuk penyambungan vektor floating-point.

  7. Perluas bagian manajemen Metadata dan tambahkan dua bidang untuk mengonfigurasi indeks vektor untuk menyimpan metadata tambahan yang dapat diambil oleh basis pengetahuan dengan vektor. Tabel berikut menjelaskan bidang dan nilai yang akan ditentukan untuk setiap bidang:

    Deskripsi bidang Bidang pemetaan Jenis data Dapat disaring
    Amazon Bedrock memotong teks mentah dari data Anda dan menyimpan potongan di bidang ini. Nama pilihan Anda (misalnya,text) String True
    Amazon Bedrock menyimpan metadata yang terkait dengan basis pengetahuan Anda di bidang ini. Nama pilihan Anda (misalnya,bedrock-metadata) String False

  8. Catat nama yang Anda pilih untuk nama indeks vektor, nama bidang vektor, dan nama bidang pemetaan manajemen metadata saat Anda membuat basis pengetahuan. Lalu pilih Buat.

Setelah indeks vektor dibuat, Anda dapat melanjutkan untuk membuat basis pengetahuan Anda. Tabel berikut merangkum di mana Anda akan memasukkan setiap informasi yang Anda catat.

Bidang Bidang yang sesuai dalam pengaturan basis pengetahuan (Konsol) Bidang yang sesuai dalam pengaturan basis pengetahuan (API) Deskripsi
Koleksi ARN Koleksi ARN CollectionARN Nama Sumber Daya Amazon (ARN) dari koleksi pencarian vektor.
Nama indeks vektor Nama indeks vektor vectorIndexName Nama indeks vektor.
Nama bidang vektor Bidang vektor VectorField Nama bidang tempat menyimpan embeddings vektor untuk sumber data Anda.
Manajemen metadata (bidang pemetaan pertama) Bidang teks TextField Nama bidang untuk menyimpan teks mentah dari sumber data Anda.
Manajemen metadata (bidang pemetaan kedua) Bidang metadata yang dikelola batuan dasar MetadataField Nama bidang tempat menyimpan metadata yang dikelola Amazon Bedrock.

Untuk dokumentasi lebih rinci tentang menyiapkan penyimpanan vektor di Amazon OpenSearch Tanpa Server, lihat Bekerja dengan koleksi pencarian vektor di Panduan Pengembang OpenSearch Layanan Amazon.

Amazon OpenSearch Service Managed Clusters
penting

  1. Untuk membuat indeks domain dan vektor di OpenSearch Cluster AWS Management Console, ikuti langkah-langkah yang dijelaskan dalam Membuat dan mengelola domain OpenSearch Layanan di Panduan Pengembang OpenSearch Layanan Amazon.

    Perhatikan pertimbangan berikut saat menyiapkan domain Anda:

    1. Berikan nama domain pilihan Anda.

    2. Kami menyarankan Anda menggunakan opsi Easy create untuk memulai dengan cepat dengan membuat domain Anda.

      catatan

      Opsi ini memberi Anda domain dengan throughput rendah. Jika Anda memiliki beban kerja yang lebih besar yang memerlukan throughput lebih tinggi, pilih opsi Buat Standar. Anda dapat menyesuaikan kapasitas nanti sesuai kebutuhan. Dengan opsi ini, Anda dapat mulai dengan kapasitas terendah, yang kemudian dapat dimodifikasi nanti sesuai kebutuhan.

    3. Untuk Jaringan, Anda harus memilih Akses publik. OpenSearch domain yang berada di belakang VPC tidak didukung untuk Basis Pengetahuan Anda.

    4. Untuk Versi, jika Anda menggunakan embeddings vektor biner, Amazon Bedrock Knowledge Bases memerlukan versi Engine 2.16 atau yang lebih baru. Selain itu, versi 2.13 atau lebih tinggi diperlukan untuk membuat indeks k-nn. Untuk informasi selengkapnya, lihat Penelusuran K-NN di panduan pengembang OpenSearch Layanan Amazon.

    5. Kami menyarankan Anda menggunakan mode Dual-stack.

    6. Kami menyarankan Anda mengaktifkan kontrol akses berbutir halus untuk melindungi data di domain Anda, dan lebih lanjut mengontrol izin yang memberikan akses peran layanan basis Pengetahuan Anda ke domain dan membuat permintaan. OpenSearch

    7. Biarkan semua pengaturan lain ke nilai defaultnya dan pilih Buat untuk membuat domain Anda.

  2. Setelah domain dibuat, klik untuk mencatat ARN Domain dan titik akhir Domain saat Anda membuat basis pengetahuan.

  3. Setelah membuat domain, Anda dapat membuat indeks vektor dengan menjalankan perintah berikut di OpenSearch dasbor atau menggunakan perintah curl. Lihat informasi yang lebih lengkap dalam dokumentasi OpenSearch .

    Saat menjalankan perintah:

    • Berikan nama untuk bidang vektor (misalnya,embeddings).

    • Pastikan bahwa vektor yang digunakan untuk pencarian adalah faiss. nmslib tidak didukung.

    • Untuk jumlah dimensi dalam vektor, lihat tabel berikut untuk menentukan berapa banyak dimensi yang harus dikandung vektor:

      catatan

      Titan V2 Embeddings - Model teks mendukung banyak dimensi. Bisa juga 256 atau 512.

      Model Dimensi
      TitanEmbeddings G1 - Teks 1,536
      TitanV2 Embeddings - Teks 1.024, 512, dan 256
      CohereEmbedBahasa Inggris 1,024
      CohereEmbedMultilingual 1,024

    • Anda dapat menambahkan dua bidang untuk mengonfigurasi indeks vektor untuk menyimpan metadata tambahan yang dapat diambil oleh basis pengetahuan dengan vektor. Tabel berikut menjelaskan bidang dan nilai yang akan ditentukan untuk masing-masing bidang.

      Deskripsi bidang Bidang pemetaan
      Amazon Bedrock memotong teks mentah dari data Anda dan menyimpan potongan di bidang ini. Ditentukan sebagai objek, misalnya,AMAZON_BEDROCK_TEXT_CHUNK.
      Amazon Bedrock menyimpan metadata yang terkait dengan basis pengetahuan Anda di bidang ini. Ditentukan sebagai objek, misalnya,AMAZON_BEDROCK_METADATA. 
    PUT /<index-name>
{
    "settings": {
        "index": {
            "knn": true
        }
    },
    "mappings": {
        "properties": {
            "<vector-name>": {
                "type": "knn_vector",
                "dimension": <embedding-dimension>,
                "data_type": "binary",          # Only needed for binary embeddings
                "space_type": "l2" | "hamming", # Use l2 for float embeddings and hamming for binary embeddings
                "method": {
                    "name": "hnsw",
                    "engine": "faiss",
                    "parameters": {
                        "ef_construction": 128,
                        "m": 24
                    }
                }
            },

            "AMAZON_BEDROCK_METADATA": {
                "type": "text",
                "index": "false"
            },
            "AMAZON_BEDROCK_TEXT_CHUNK": {
                "type": "text",
                "index": "true"            
            }
        }
    }
}

  4. Catat ARN domain dan titik akhir, dan nama yang Anda pilih untuk nama indeks vektor, nama bidang vektor, dan nama bidang pemetaan manajemen metadata saat Anda membuat basis pengetahuan Anda.

Setelah indeks vektor dibuat, Anda dapat melanjutkan untuk membuat basis pengetahuan Anda. Tabel berikut merangkum di mana Anda akan memasukkan setiap informasi yang Anda catat.

Bidang Bidang yang sesuai dalam pengaturan basis pengetahuan (Konsol) Bidang yang sesuai dalam pengaturan basis pengetahuan (API) Deskripsi
Domain ARN Domain ARN DomainARN Nama Sumber Daya Amazon (ARN) dari domain. OpenSearch
Titik akhir domain Titik akhir domain DomainEndPoint Endpoint untuk terhubung ke OpenSearch domain.
Nama indeks vektor Nama indeks vektor vectorIndexName Nama indeks vektor.
Nama bidang vektor Bidang vektor VectorField Nama bidang tempat menyimpan embeddings vektor untuk sumber data Anda.
Manajemen metadata (bidang pemetaan pertama) Bidang teks TextField Nama bidang untuk menyimpan teks mentah dari sumber data Anda.
Manajemen metadata (bidang pemetaan kedua) Bidang metadata yang dikelola batuan dasar MetadataField Nama bidang tempat menyimpan metadata yang dikelola Amazon Bedrock.
Amazon S3 Vectors

Vektor Amazon S3 menyediakan penyimpanan vektor hemat biaya di Amazon S3 yang dapat digunakan untuk menyimpan dan menanyakan data vektor. Ini menyediakan penyimpanan kumpulan data vektor besar yang tahan lama dan elastis dengan kinerja kueri sub-detik. Vektor Amazon S3 paling cocok untuk beban kerja kueri yang jarang terjadi, dan dapat membantu mengurangi biaya saat digunakan dalam pengambilan augmented generation (RAG) dan aplikasi pencarian semantik.

penting

Integrasi Vektor Amazon S3 dengan Pangkalan Pengetahuan Amazon Bedrock sedang dalam rilis pratinjau dan dapat berubah sewaktu-waktu.

Vektor Amazon S3 memperkenalkan bucket vektor S3, yang dapat Anda kueri berdasarkan makna dan kesamaan semantik. Ini dapat digunakan untuk mengirimkan waktu respons kueri sub-detik dan mengurangi biaya saat menyimpan, mengakses, dan menanyakan data vektor dalam skala besar tanpa menyediakan infrastruktur apa pun. Di dalam bucket vektor, Anda dapat mengatur data vektor Anda dalam indeks vektor. Bucket vektor Anda dapat memiliki beberapa indeks vektor, dan setiap indeks vektor dapat menampung jutaan vektor. Untuk informasi selengkapnya, lihat Vektor Amazon S3 di Panduan Pengguna Amazon S3.

catatan

Anda dapat membuat basis pengetahuan untuk Vektor Amazon S3 di semua Wilayah AWS tempat Amazon Bedrock dan Amazon S3 Vektor tersedia. Untuk informasi tentang ketersediaan regional Vektor Amazon S3, lihat Vektor Amazon S3 di Panduan Pengguna Amazon S3.

Dukungan metadata

Setelah membuat indeks vektor, saat menambahkan data vektor ke indeks, Anda dapat melampirkan metadata sebagai pasangan nilai kunci ke setiap vektor. Secara default, semua metadata yang dilampirkan ke vektor dapat difilter dan dapat digunakan sebagai filter dalam kueri pencarian kesamaan. Metadata yang dapat difilter dapat digunakan untuk memfilter kueri masuk berdasarkan serangkaian kondisi, seperti tanggal, kategori, atau preferensi pengguna.

Anda juga dapat mengonfigurasi metadata agar tidak dapat difilter saat membuat indeks vektor. Indeks vektor Amazon S3 mendukung jenis string, boolean, dan nomor. Ini dapat mendukung hingga maksimum 40 KB metadata untuk setiap vektor. Dalam metadata 40 KB ini, metadata yang dapat difilter dapat mencapai maksimum 2 KB untuk setiap vektor. Secara default, metadata yang dapat difilter juga menyertakan metadata sistem dan teks potongan sehingga jika Anda memerlukan ruang tambahan untuk metadata pengguna, Anda harus mengonfigurasinya sebagai tidak dapat difilter. Ruang metadata yang dapat disaring dapat digunakan untuk menyimpan embeddings setelah basis pengetahuan dibuat.

Jika metadata melebihi batas ini, itu menghasilkan kesalahan saat membuat indeks vektor. Untuk informasi selengkapnya, lihat Vektor Amazon S3 di Panduan Pengguna Amazon S3.

Izin yang diperlukan

Pastikan kebijakan IAM Anda mengizinkan Amazon Bedrock mengakses indeks vektor Anda di bucket vektor S3. Untuk informasi lebih lanjut tentang izin yang diperlukan, lihat Membuat peran layanan untuk Amazon Bedrock Knowledge Bases.

Buat bucket dan indeks vektor S3

Untuk menggunakan Vektor Amazon S3 dengan basis pengetahuan Anda, Anda perlu membuat bucket vektor S3 dan indeks vektor. Anda dapat membuat bucket dan indeks vektor menggunakan konsol Amazon S3, AWS CLI, atau AWS SDK. Untuk petunjuk terperinci, lihat Membuat indeks vektor di Panduan Pengguna Amazon S3.

Perhatikan pertimbangan berikut saat membuat bucket dan indeks vektor di konsol Amazon S3.

  1. Saat membuat bucket vektor S3 Anda, perhatikan pertimbangan berikut.

    • Berikan nama bucket Vector yang unik.

    • (Opsional) Amazon S3 akan secara otomatis mengenkripsi data menggunakan enkripsi sisi Server default dengan kunci terkelola Amazon S3 (SSE-S3). Anda dapat memilih apakah akan menggunakan enkripsi default ini, atau enkripsi sisi Server dengan AWS kunci Layanan Manajemen Kunci (SSE-KMS) sebagai gantinya.

      catatan

      Jenis enkripsi tidak dapat diubah setelah bucket vektor dibuat.

      Untuk step-by-step petunjuk, lihat Enkripsi dengan kunci AWS KMS.

  2. Setelah Anda membuat bucket vektor S3, perhatikan Amazon Resource Name (ARN) dari bucket vektor saat Anda membuat basis pengetahuan.

  3. Pilih bucket vektor yang Anda buat lalu buat indeks vektor. Saat membuat indeks vektor, perhatikan pertimbangan berikut.

    • Nama indeks vektor — Berikan nama untuk bidang (misalnya,embeddings).

    • Dimensi — Jumlah dimensi dalam vektor. Dimensi harus berupa nilai antara 1 dan 4096. Lihat tabel berikut untuk menentukan berapa banyak dimensi yang harus dikandung vektor berdasarkan pilihan model embeddings Anda:

      Model Dimensi
      TitanEmbeddings G1 - Teks 1,536
      TitanV2 Embeddings - Teks 1.024, 512, dan 256
      CohereEmbedBahasa Inggris 1,024
      CohereEmbedMultilingual 1,024
    • catatan

      Vektor Amazon S3 hanya mendukung penyematan floating-point. Penyematan biner tidak didukung.

      Metrik jarak — Metrik yang digunakan untuk mengukur kesamaan antara vektor. Anda dapat menggunakan Cosine atau Euclidean.

  4. Perluas pengaturan Tambahan dan berikan metadata yang tidak dapat difilter di bidang metadata Non-Filterable.

    catatan

    Jika Anda mengharapkan potongan teks melebihi ruang metadata 2 KB, kami sarankan Anda menambahkan bidang teks AMAZON_BEDROCK_TEXT dan AMAZON_BEDROCK_METADATA sebagai kunci metadata yang tidak dapat difilter. Basis pengetahuan Anda akan menggunakan bidang ini untuk menyimpan potongan teks dan metadata sistem.

    Anda dapat mengonfigurasi hingga maksimal 10 kunci metadata yang tidak dapat difilter. Pilih Tambah kunci lalu tambahkan AMAZON_BEDROCK_TEXT dan AMAZON_BEDROCK_METADATA sebagai kunci.

  5. Buat indeks vektor dan catat Amazon Resource Name (ARN) dari indeks vektor saat Anda membuat basis pengetahuan.

Buat basis pengetahuan untuk bucket vektor S3

Setelah mengumpulkan informasi ini, Anda dapat melanjutkan untuk membuat basis pengetahuan Anda. Saat membuat basis pengetahuan Anda dengan bucket vektor S3, Anda harus memberikan ARN bucket vektor dan indeks vektor. Indeks vektor akan menyimpan embeddings yang dihasilkan dari sumber data Anda. Tabel berikut merangkum di mana Anda akan memasukkan setiap informasi:

Bidang Bidang yang sesuai dalam pengaturan basis pengetahuan (Konsol) Bidang yang sesuai dalam pengaturan basis pengetahuan (API) Deskripsi
Ember vektor ARN Ember vektor S3 ARN vectorBucketArn Nama Sumber Daya Amazon (ARN) dari bucket vektor S3 Anda.
Indeks vektor ARN S3 indeks vektor ARN VectorIndexARN Nama Sumber Daya Amazon (ARN) dari indeks vektor untuk bucket vektor S3 Anda.
Amazon Aurora (RDS)

  1. Buat klaster, skema, dan tabel database Amazon Aurora (DB) dengan mengikuti langkah-langkah di Menggunakan Aurora PostgreSQL sebagai basis pengetahuan. Saat Anda membuat tabel, konfigurasikan dengan kolom dan tipe data berikut. Anda dapat menggunakan nama kolom yang Anda sukai alih-alih yang tercantum dalam tabel berikut. Catat nama kolom yang Anda pilih sehingga Anda dapat memberikannya selama pengaturan basis pengetahuan.

    Anda harus menyediakan bidang-bidang ini sebelum membuat basis pengetahuan. Mereka connot diperbarui setelah basis pengetahuan telah dibuat.

    penting

    Cluster Aurora harus berada Akun AWS sama dengan cluster di mana basis pengetahuan dibuat untuk Amazon Bedrock.

    Nama kolom Jenis data Bidang yang sesuai dalam pengaturan basis pengetahuan (Konsol) Bidang yang sesuai dalam pengaturan basis pengetahuan (API) Deskripsi
    id Kunci utama UUID Kunci primer primaryKeyField Berisi pengidentifikasi unik untuk setiap catatan.
    menyematkan vektor Bidang vektor vectorField Berisi embeddings vektor dari sumber data.
    potongan Teks Bidang teks textField Berisi potongan teks mentah dari sumber data Anda.
    Metadata JSON Bidang metadata yang dikelola batuan dasar metadataField Berisi metadata yang diperlukan untuk melakukan atribusi sumber dan untuk mengaktifkan penyerapan dan kueri data
    custom_metadata JSONB Bidang metadata kustom customMetadataField Bidang opsional yang menunjukkan kolom tempat Amazon Bedrock akan menulis semua informasi file metadata apa pun dari sumber data Anda.

  2. Anda harus membuat indeks pada vektor kolom dan teks untuk bidang teks dan embeddings Anda. Jika Anda menggunakan bidang metadata kustom, Anda juga harus membuat indeks GIN pada kolom ini. Indeks GIN dapat digunakan untuk secara efisien mencari pasangan nilai kunci dalam dokumen jsonb untuk pemfilteran metadata. Untuk informasi selengkapnya, lihat pengindeksan jsonb dalam dokumentasi PostgreSQL.

    Nama kolom Buat indeks pada Diperlukan?
    vektor CREATE INDEX ON bedrock_integration.bedrock_kb USING hnsw (embedding vector_cosine_ops); Ya
    text CREATE INDEX ON bedrock_integration.bedrock_kb USING gin (to_tsvector('simple', chunks)); Ya
    metadata kustom CREATE INDEX ON bedrock_integration.bedrock_kb USING gin (custom_metadata); Hanya jika Anda telah membuat kolom metadata kustom.

  3. (Opsional) Jika Anda menambahkan metadata ke file Anda untuk pemfilteran, kami sarankan Anda memberikan nama kolom di bidang metadata khusus untuk menyimpan semua metadata Anda dalam satu kolom. Selama konsumsi data, kolom ini akan diisi dengan semua informasi dalam file metadata dari sumber data Anda. Jika Anda memilih untuk menyediakan bidang ini, Anda harus membuat indeks GIN pada kolom ini.

    catatan

    Jika Anda sering menggunakan filter rentang di atas metadata numerik, maka untuk mengoptimalkan kinerja, buat indeks untuk kunci tertentu. Misalnya, jika Anda menggunakan filter seperti"lessThan": { "key": "year", "value": 1989 }, buat indeks ekspresi pada year kunci. Untuk informasi selengkapnya, lihat Indeks ekspresi dalam dokumentasi PostgreSQL.

    CREATE INDEX ON your_table ((custom_metadata->>'year')::double precision

    Atau, jika Anda tidak memberikan nama bidang ini, Anda dapat membuat kolom untuk setiap atribut metadata dalam file Anda dan menentukan tipe data (teks, angka, atau boolean). Misalnya, jika atribut genre ada di sumber data Anda, Anda akan menambahkan kolom bernama genre dan menentukan text sebagai tipe data. Selama konsumsi data, kolom terpisah ini akan diisi dengan nilai atribut yang sesuai.

  4. Konfigurasikan AWS Secrets Manager rahasia untuk cluster Aurora DB Anda dengan mengikuti langkah-langkah di Manajemen kata sandi dengan Amazon Aurora dan. AWS Secrets Manager

  5. Catat informasi berikut setelah Anda membuat cluster DB dan mengatur rahasianya.

    Bidang dalam pengaturan basis pengetahuan (Konsol) Bidang dalam pengaturan basis pengetahuan (API) Deskripsi
    Amazon Aurora DB Cluster ARN resourceArn ARN dari cluster DB Anda.
    Nama basis data databaseName Nama database Anda
    Nama tabel tableName Nama tabel di cluster DB Anda
    Rahasia ARN credentialsSecretArn ARN AWS Secrets Manager kunci untuk cluster DB Anda
Neptune Analytics graphs (GraphRAG)

  1. Untuk membuat penyimpanan grafik dan vektor di Neptunus Analytics di, ikuti langkah-langkah yang dijelaskan dalam AWS Management ConsolePengindeksan vektor di Neptunus Analytics di Panduan Pengguna Neptunus Analytics.

    catatan

    Untuk menggunakan Neptune GraphRag, buat grafik Neptune Analytics kosong dengan indeks pencarian vektor. Indeks pencarian vektor hanya dapat dibuat ketika grafik dibuat. Saat membuat grafik Neptunus Analytics di konsol, Anda menentukan dimensi indeks di bawah Pengaturan pencarian vektor di dekat akhir proses.

    Perhatikan pertimbangan berikut saat membuat grafik:

    1. Berikan grafik nama pilihan Anda.

    2. Di bawah Sumber data, pilih Buat grafik kosong, dan tentukan jumlah m- NCUs yang akan dialokasikan. Setiap m-NCU memiliki sekitar satu GiB kapasitas memori dan komputasi dan jaringan yang sesuai.

      catatan

      Kapasitas grafik Anda dapat dimodifikasi nanti. Kami menyarankan Anda memulai dengan instance terkecil dan kemudian memilih instance yang berbeda, jika diperlukan.

    3. Anda dapat meninggalkan pengaturan konektivitas jaringan default. Amazon Bedrock akan membuat koneksi jaringan ke grafik Neptunus Analytics yang Anda kaitkan dengan basis pengetahuan. Anda tidak perlu mengonfigurasi konektivitas publik atau titik akhir pribadi untuk grafik Anda.

    4. Di bawah Pengaturan pencarian vektor, pilih Gunakan dimensi vektor dan tentukan jumlah dimensi di setiap vektor.

      catatan

      Jumlah dimensi di setiap vektor harus sesuai dengan dimensi vektor dalam model embeddings. Lihat tabel berikut untuk menentukan berapa banyak dimensi vektor harus berisi:

      Model Dimensi
      TitanEmbeddings G1 - Teks 1,536
      TitanV2 Embeddings - Teks 1.024, 512, dan 256
      CohereEmbedBahasa Inggris 1,024
      CohereEmbedMultilingual 1,024

    5. Biarkan semua pengaturan lain ke default dan buat grafik.

  2. Setelah grafik dibuat, klik untuk mencatat dimensi ARN Sumber Daya dan Vektor saat Anda membuat basis pengetahuan. Saat memilih model embeddings di Amazon Bedrock, pastikan Anda memilih model dengan dimensi yang sama dengan dimensi Vektor yang Anda konfigurasikan pada grafik Neptunus Analytics Anda.

Setelah indeks vektor dibuat, Anda dapat melanjutkan untuk membuat basis pengetahuan Anda. Tabel berikut merangkum di mana Anda akan memasukkan setiap informasi yang Anda catat.

Bidang Bidang yang sesuai dalam pengaturan basis pengetahuan (Konsol) Bidang yang sesuai dalam pengaturan basis pengetahuan (API) Deskripsi
Grafik ARN Grafik Analitik Neptunus ARN GraphArn Nama Sumber Daya Amazon (ARN) dari grafik Neptunus Analytics.
Manajemen metadata (bidang pemetaan pertama) Nama bidang teks TextField Nama bidang untuk menyimpan teks mentah dari sumber data Anda. Anda dapat memberikan nilai apa pun untuk bidang ini, misalnya, teks.
Manajemen metadata (bidang pemetaan kedua) Bidang metadata yang dikelola batuan dasar MetadataField Nama bidang tempat menyimpan metadata yang dikelola Amazon Bedrock. Anda dapat memberikan nilai apa pun untuk bidang ini, misalnya, metadata.
Biji pinus
catatan

Jika Anda menggunakanPinecone, Anda setuju untuk mengizinkan AWS untuk mengakses sumber pihak ketiga yang ditunjuk atas nama Anda untuk menyediakan layanan penyimpanan vektor kepada Anda. Anda bertanggung jawab untuk mematuhi persyaratan pihak ketiga yang berlaku untuk penggunaan dan dan transfer data dari layanan pihak ketiga.

Untuk dokumentasi mendetail tentang menyiapkan penyimpanan vektorPinecone, lihat Biji Pinus sebagai basis pengetahuan untuk Amazon Bedrock.

Saat Anda mengatur penyimpanan vektor, perhatikan informasi berikut, yang akan Anda isi saat membuat basis pengetahuan:

  • Endpoint URL — URL endpoint untuk halaman manajemen indeks Anda.

  • Rahasia kredensial ARN — Nama Sumber Daya Amazon (ARN) dari rahasia yang Anda buat AWS Secrets Manager yang berisi nama pengguna dan kata sandi untuk pengguna database.

  • (Opsional) Kunci KMS yang dikelola pelanggan untuk ARN rahasia Kredensial Anda — jika Anda mengenkripsi ARN rahasia kredensil Anda, berikan kunci KMS sehingga Amazon Bedrock dapat mendekripsi.

  • Nama Space — (Opsional) Namespace yang akan digunakan untuk menulis data baru ke database Anda. Untuk informasi selengkapnya, lihat Menggunakan ruang nama.

Ada konfigurasi tambahan yang harus Anda berikan saat membuat Pinecone indeks:

  • Nama bidang teks - Nama bidang tempat Amazon Bedrock harus menyimpan teks potongan mentah.

  • Nama bidang metadata — Nama bidang tempat Amazon Bedrock harus menyimpan metadata atribusi sumber.

Untuk mengakses Pinecone indeks Anda, Anda harus memberikan kunci Pinecone API Anda ke Amazon Bedrock melalui. AWS Secrets Manager

Untuk menyiapkan rahasia untuk Pinecone konfigurasi Anda

  1. Ikuti langkah-langkah di Buat AWS Secrets Manager rahasia, atur kunci sebagai apiKey dan nilai sebagai kunci API untuk mengakses Pinecone indeks Anda.

  2. Untuk menemukan kunci API Anda, buka konsol Pinecone Anda dan pilih Kunci API.

  3. Setelah Anda membuat rahasia, perhatikan ARN dari kunci KMS.

  4. Lampirkan izin ke peran layanan Anda untuk mendekripsi ARN kunci KMS dengan mengikuti langkah-langkahnya. Izin untuk mendekripsi AWS Secrets Manager rahasia untuk penyimpanan vektor yang berisi basis pengetahuan Anda

  5. Kemudian, ketika Anda membuat basis pengetahuan Anda, masukkan ARN di bidang ARN rahasia Kredensial.

Awan Perusahaan Redis
catatan

Jika Anda menggunakanRedis Enterprise Cloud, Anda setuju untuk mengizinkan AWS untuk mengakses sumber pihak ketiga yang ditunjuk atas nama Anda untuk menyediakan layanan penyimpanan vektor kepada Anda. Anda bertanggung jawab untuk mematuhi persyaratan pihak ketiga yang berlaku untuk penggunaan dan transfer data dari layanan pihak ketiga.

Untuk dokumentasi mendetail tentang menyiapkan penyimpanan vektorRedis Enterprise Cloud, lihat Mengintegrasikan Redis Enterprise Cloud dengan Amazon Bedrock.

Saat Anda mengatur penyimpanan vektor, perhatikan informasi berikut, yang akan Anda isi saat membuat basis pengetahuan:

  • Endpoint URL — URL endpoint publik untuk database Anda.

  • Nama indeks vektor — Nama indeks vektor untuk database Anda.

  • Bidang vektor — Nama bidang tempat embeddings vektor akan disimpan. Lihat tabel berikut untuk menentukan berapa banyak dimensi yang harus dikandung vektor.

    Model Dimensi
    TitanEmbeddings G1 - Teks 1,536
    TitanV2 Embeddings - Teks 1.024, 512, dan 256
    CohereEmbedBahasa Inggris 1,024
    CohereEmbedMultilingual 1,024

  • Bidang teks — Nama bidang tempat Amazon Bedrock menyimpan potongan teks mentah.

  • Bidang metadata yang dikelola oleh batuan dasar — Nama bidang tempat Amazon Bedrock menyimpan metadata yang terkait dengan basis pengetahuan Anda.

Untuk mengakses Redis Enterprise Cloud klaster Anda, Anda harus menyediakan konfigurasi Redis Enterprise Cloud keamanan Anda ke Amazon Bedrock melalui file. AWS Secrets Manager

Untuk menyiapkan rahasia untuk Redis Enterprise Cloud konfigurasi Anda

  1. Aktifkan TLS untuk menggunakan database Anda dengan Amazon Bedrock dengan mengikuti langkah-langkah di Transport Layer Security (TLS).

  2. Ikuti langkah-langkah di Buat AWS Secrets Manager rahasia. Siapkan kunci berikut dengan nilai yang sesuai dari Redis Enterprise Cloud konfigurasi Anda secara rahasia:

    • username— Nama pengguna untuk mengakses Redis Enterprise Cloud database Anda. Untuk menemukan nama pengguna Anda, lihat di bawah bagian Keamanan database Anda di Konsol Redis.

    • password— Kata sandi untuk mengakses Redis Enterprise Cloud database Anda. Untuk menemukan kata sandi Anda, lihat di bawah bagian Keamanan database Anda di Konsol Redis.

    • serverCertificate— Isi sertifikat dari otoritas Redis Cloud Certificate. Unduh sertifikat server dari Konsol Admin Redis dengan mengikuti langkah-langkah di Unduh sertifikat.

    • clientPrivateKey— Kunci pribadi sertifikat dari otoritas Redis Cloud Certificate. Unduh sertifikat server dari Konsol Admin Redis dengan mengikuti langkah-langkah di Unduh sertifikat.

    • clientCertificate— Kunci publik sertifikat dari otoritas Redis Cloud Certificate. Unduh sertifikat server dari Konsol Admin Redis dengan mengikuti langkah-langkah di Unduh sertifikat.

  3. Setelah Anda membuat rahasia, perhatikan ARN-nya. Kemudian, ketika Anda membuat basis pengetahuan Anda, masukkan ARN di bidang ARN rahasia Kredensial.

MongoDB Atlas
catatan

Jika Anda menggunakan MongoDB Atlas, Anda setuju untuk AWS mengizinkan untuk mengakses sumber pihak ketiga yang ditunjuk atas nama Anda untuk menyediakan layanan penyimpanan vektor kepada Anda. Anda bertanggung jawab untuk mematuhi persyaratan pihak ketiga yang berlaku untuk penggunaan dan dan transfer data dari layanan pihak ketiga.

Untuk dokumentasi mendetail tentang menyiapkan penyimpanan vektor di MongoDB Atlas, lihat Meluncurkan Alur Kerja RAG yang Dikelola Sepenuhnya Dengan Atlas MongoDB dan Amazon Bedrock.

Saat Anda mengatur penyimpanan vektor, perhatikan informasi berikut yang akan Anda tambahkan saat Anda membuat basis pengetahuan:

  • URL Endpoint — URL endpoint dari cluster MongoDB Atlas Anda.

  • Nama database — Nama database di cluster MongoDB Atlas Anda.

  • Nama koleksi — Nama koleksi dalam database Anda.

  • Rahasia kredensial ARN - Nama Sumber Daya Amazon (ARN) dari rahasia yang Anda buat AWS Secrets Manager yang berisi nama pengguna dan kata sandi untuk pengguna database di cluster MongoDB Atlas Anda.

  • (Opsional) Kunci KMS yang dikelola pelanggan untuk ARN rahasia Kredensial Anda — jika Anda mengenkripsi ARN rahasia kredensil Anda, berikan kunci KMS sehingga Amazon Bedrock dapat mendekripsi.

Ada konfigurasi tambahan untuk pemetaan Field yang harus Anda berikan saat membuat indeks MongoDB Atlas:

  • Nama indeks vektor — Nama Indeks Pencarian Vektor MongoDB Atlas pada koleksi Anda.

  • Nama bidang vektor — Nama bidang tempat Amazon Bedrock harus menyimpan embeddings vektor.

  • Nama bidang teks - Nama bidang tempat Amazon Bedrock harus menyimpan teks potongan mentah.

  • Nama bidang metadata — Nama bidang tempat Amazon Bedrock harus menyimpan metadata atribusi sumber.

  • (Opsional) Nama indeks pencarian teks — Nama indeks MongoDB Atlas Search pada koleksi Anda.

(Opsional) Agar Amazon Bedrock terhubung ke cluster AWS PrivateLink MongoDB Atlas Anda, lihat alur kerja RAG dengan MongoDB Atlas menggunakan Amazon Bedrock.