Membuat indeks vektor dalam ember vektor

catatan

Vektor Amazon S3 sedang dalam rilis pratinjau untuk Amazon Simple Storage Service dan dapat berubah sewaktu-waktu.

catatan

Pilih parameter konfigurasi indeks vektor Anda dengan hati-hati. Setelah membuat indeks vektor, Anda tidak dapat memperbarui nama indeks vektor, dimensi, metrik jarak, atau kunci metadata yang tidak dapat difilter. Untuk mengubah salah satu dari nilai-nilai ini, Anda harus membuat indeks vektor baru.

Indeks vektor adalah sumber daya dalam bucket vektor yang menyimpan dan mengatur data vektor untuk pencarian kesamaan yang efisien. Saat Anda membuat indeks vektor, Anda menentukan karakteristik yang harus dibagikan oleh semua vektor dalam indeks tersebut, seperti dimensi, metrik jarak yang digunakan untuk perhitungan kesamaan, dan kunci metadata opsional yang tidak dapat difilter. Untuk informasi selengkapnya tentang persyaratan penamaan indeks vektor, persyaratan dimensi, opsi metrik jarak, dan kunci metadata yang tidak dapat difilter, lihat. Keterbatasan dan pembatasan

Indeks vektor harus dibuat dalam bucket vektor yang ada dan memerlukan parameter konfigurasi khusus yang tidak dapat dimodifikasi setelah pembuatan.

Menggunakan konsol S3

Untuk membuat indeks vektor

1. Buka konsol Amazon S3 di. https://console.aws.amazon.com/s3/

2. Di panel navigasi, pilih ember Vektor.

3. Dalam daftar bucket vektor, pilih nama bucket tempat Anda ingin membuat indeks vektor.

4. Pilih Buat indeks vektor.

5. Untuk nama indeks Vector, masukkan nama untuk indeks vektor Anda.

   Nama indeks vektor harus unik dalam ember vektor. Nama indeks harus antara 3 dan 63 karakter. Karakter yang valid adalah huruf kecil (a-z), angka (0-9), tanda hubung (-), dan titik (.). Untuk informasi selengkapnya tentang persyaratan penamaan indeks vektor, lihatKeterbatasan dan pembatasan.

6. Untuk Dimensi, masukkan jumlah nilai di setiap vektor.

   catatan

   • Nilai untuk Dimensi menentukan berapa banyak nilai numerik yang akan dikandung setiap vektor.

   • Semua vektor yang ditambahkan ke indeks ini harus memiliki jumlah nilai yang tepat.

   • Dimensi harus antara 1 dan 4096.

   • Dimensi yang lebih besar membutuhkan lebih banyak ruang penyimpanan.

   • Pilih berdasarkan dimensi keluaran model embedding Anda.

   Untuk informasi selengkapnya tentang persyaratan dimensi, lihatKeterbatasan dan pembatasan.

7. Untuk metrik Jarak, pilih salah satu opsi berikut:

   • Cosinus — Mengukur kosinus sudut antar vektor. Terbaik untuk vektor yang dinormalisasi dan ketika arah lebih penting daripada besarnya

   • Euclidean — Mengukur jarak garis lurus antara vektor. Terbaik ketika arah dan besarnya penting.

8. (Opsional) Di bawah metadata yang tidak dapat difilter, konfigurasikan kunci metadata yang akan disimpan tetapi tidak digunakan untuk pemfilteran:

   Untuk menambahkan kunci metadata yang tidak dapat difilter:

   1. Pilih Tambah kunci.

   2. Masukkan nama kunci (1-63 karakter dan unik dalam indeks vektor ini).

   3. Ulangi untuk menambahkan tombol tambahan (maksimum 10 tombol).

   catatan

   Anda dapat melampirkan metadata yang dapat difilter sebagai pasangan nilai kunci ke setiap vektor saat Anda memasukkan data vektor setelah Anda membuat indeks vektor. Secara default, semua kunci metadata yang dilampirkan ke vektor dapat difilter dan dapat digunakan sebagai filter dalam kueri kesamaan. Hanya kunci metadata yang ditetapkan sebagai tidak dapat difilter selama pembuatan indeks vektor yang dikecualikan dari pemfilteran. Untuk informasi selengkapnya tentang batas ukuran metadata per vektor, termasuk batasan metadata total dan dapat difilter, lihat. Keterbatasan dan pembatasan

9. Tinjau konfigurasi Anda dengan cermat.

   catatan

   Pengaturan ini tidak dapat diubah setelah pembuatan.

10. Pilih Buat indeks vektor.

Menggunakan AWS CLI

Untuk membuat indeks vektor dalam bucket vektor, gunakan contoh perintah berikut dan ganti user input placeholders dengan informasi Anda sendiri.

Contoh 1: Membuat indeks vektor dengan kunci metadata yang tidak dapat difilter

aws s3vectors create-index \
  --vector-bucket-name "amzn-s3-demo-vector-bucket" \
  --index-name "idx" \
  --data-type "float32" \
  --dimension 1 \
  --distance-metric "cosine" \
  --metadata-configuration '{"nonFilterableMetadataKeys":["nonFilterableKey1"]}'
      

Contoh 2: Membuat indeks vektor tanpa kunci metadata yang tidak dapat difilter

aws s3vectors create-index \
  --vector-bucket-name "amzn-s3-demo-vector-bucket" \
  --index-name "idx2" \
  --data-type "float32" \
  --dimension 4096 \
  --distance-metric "euclidean"
      

Selain itu, semua metadata (baik yang dapat difilter maupun yang tidak dapat difilter) diambil dengan cara yang sama dengan menggunakan,, atau operasi API. GetVectors ListVectors QueryVectors Perintah CLI berikut menunjukkan cara mengambil vektor dengan metadata (termasuk metadata yang tidak dapat difilter).

Contoh permintaan:

aws s3vectors get-vectors \
  --vector-bucket-name "amzn-s3-demo-vector-bucket" \
  --index-name "idx" \
  --keys '["vec1", "vec3"]' \
  --return-data \
  --return-metadata \

Contoh respons:

{
    "vectors": [
        {
            "key": "vec1",
            "data": {
                "float32": [
                    0.10000000149011612,
                    0.20000000298023224,
                    0.30000001192092896,
                    0.4000000059604645,
                    0.5
                ]
            },
            "metadata": {
                "category": "test",
                "text": "First vector"
            }
        },
        {
            "key": "vec3",
            "data": {
                "float32": [
                    0.6000000238418579,
                    0.699999988079071,
                    0.800000011920929,
                    0.8999999761581421,
                    1.0
                ]
            },
            "metadata": {
                "text": "Third vector",
                "category": "test"
            }
        }
    ]
}

Respons akan mencakup semua metadata yang terkait dengan vektor, terlepas dari apakah itu ditentukan sebagai dapat disaring atau tidak dapat disaring selama pembuatan indeks.