Bekerja dengan Vektor S3 dan ember vektor

catatan

Vektor Amazon S3 sedang dalam rilis pratinjau untuk Amazon Simple Storage Service dan dapat berubah sewaktu-waktu.

Apa itu Vektor Amazon S3?

Amazon S3 Vectors menghadirkan penyimpanan vektor yang dibuat khusus dan dioptimalkan biaya untuk pencarian semantik dan aplikasi AI Anda. Dengan elastisitas dan daya tahan tingkat Amazon S3 untuk menyimpan kumpulan data vektor dengan kinerja kueri sub-detik, Vektor S3 sangat ideal untuk aplikasi yang perlu membangun dan menumbuhkan indeks vektor. Anda mendapatkan serangkaian operasi API khusus untuk menyimpan, mengakses, dan melakukan kueri kesamaan pada data vektor tanpa menyediakan infrastruktur apa pun. Vektor S3 terdiri dari beberapa komponen kunci yang bekerja sama:

• Bucket vektor — Jenis bucket baru yang dibuat khusus untuk menyimpan dan menanyakan vektor.

• Indeks vektor — Dalam bucket vektor, Anda dapat mengatur data vektor Anda dalam indeks vektor. Anda melakukan kueri kesamaan pada data vektor Anda dalam indeks vektor.

• Vektor — Anda menyimpan vektor dalam indeks vektor Anda. Untuk pencarian kesamaan dan aplikasi AI, vektor dibuat sebagai embeddings vektor yang merupakan representasi numerik yang mempertahankan hubungan semantik antara konten (seperti teks, gambar, atau audio) sehingga item serupa diposisikan lebih dekat satu sama lain. Vektor S3 dapat melakukan pencarian kesamaan berdasarkan makna semantik daripada pencocokan tepat dengan membandingkan seberapa dekat vektor satu sama lain secara matematis. Saat menambahkan data vektor ke indeks vektor, Anda juga dapat melampirkan metadata untuk kueri pemfilteran masa depan berdasarkan serangkaian kondisi (misalnya, stempel waktu, kategori, dan preferensi pengguna).

Menulis ke Vektor S3 sangat konsisten, yang berarti Anda dapat segera mengakses data yang paling baru ditambahkan. Saat Anda menulis, memperbarui, dan menghapus vektor dari waktu ke waktu, Vektor S3 secara otomatis mengoptimalkan data vektor untuk mencapai kinerja harga terbaik untuk penyimpanan vektor, bahkan saat kumpulan data berskala dan berkembang. Anda dapat mengontrol akses ke data vektor dengan mekanisme kontrol akses Amazon S3 yang ada, termasuk kebijakan bucket dan IAM. Untuk informasi selengkapnya tentang batas indeks vektor per bucket dan batas vektor per indeks, lihatKeterbatasan dan pembatasan.

Kasus penggunaan: Pencarian kesamaan di seluruh kumpulan data besar

Pencarian kesamaan memungkinkan Anda menemukan item yang secara konseptual terkait satu sama lain berdasarkan representasi vektornya, bukan pencocokan kata kunci yang tepat. Pencarian ini mengidentifikasi konten dengan makna atau karakteristik yang serupa, bahkan ketika kata-kata atau elemen visual yang tepat berbeda.

Kasus penggunaan umum untuk pencarian kesamaan dengan Vektor S3 meliputi:

• Pencitraan medis - Temukan kesamaan dalam jutaan gambar medis untuk membantu diagnosis dan perencanaan perawatan

• Pelanggaran hak cipta - Identifikasi konten turunan yang berpotensi di seluruh perpustakaan media besar

• Deduplikasi gambar - Mendeteksi dan menghapus gambar duplikat atau hampir duplikat dari koleksi gambar besar

• Pemahaman video - Cari adegan atau konten tertentu dalam aset video

• Pencarian dokumen perusahaan - Aktifkan pencarian semantik di seluruh dokumen perusahaan untuk menemukan informasi yang relevan berdasarkan makna

• Personalisasi - Memberikan rekomendasi yang disesuaikan dengan menemukan item serupa

Anda harus menggunakan Vektor S3 jika Anda ingin membangun pencarian vektor yang hemat biaya dan aplikasi AI agen dengan waktu pencarian sub-detik. Dengan bucket vektor, Anda hanya membayar untuk apa yang Anda gunakan, dan dapat menghemat biaya untuk mengunggah, menyimpan, dan menanyakan penyematan vektor. Untuk informasi selengkapnya tentang harga, lihat Harga Amazon S3.

Fitur Vektor S3

Penyimpanan yang dibuat khusus untuk vektor

S3 Vectors adalah penyimpanan objek yang dibuat khusus pertama di cloud untuk menyimpan dan menanyakan vektor. Ember vektor dirancang untuk menyediakan penyimpanan data vektor yang hemat biaya, elastis, dan tahan lama.

Penyematan vektor mengubah cara pelanggan menggunakan dan mengambil data tidak terstruktur mereka, dari mendeteksi kesamaan di seluruh gambar medis, menemukan anomali dalam ribuan jam rekaman video, menavigasi melalui basis kode besar, dan mengidentifikasi hukum kasus yang paling relevan untuk masalah hukum tertentu. Aplikasi yang muncul ini bergabung dengan model embedding untuk menyandikan makna semantik data (misalnya, teks, gambar, video, kode) sebagai embeddings vektor numerik.

Dalam bucket vektor, Anda mengatur data vektor Anda dalam indeks vektor, tanpa menyediakan infrastruktur. Saat Anda menulis, memperbarui, dan menghapus vektor dari waktu ke waktu, Vektor S3 secara otomatis mengoptimalkan data vektor untuk mencapai kinerja harga terbaik untuk penyimpanan vektor, bahkan saat kumpulan data berskala dan berkembang. Untuk informasi selengkapnya tentang batas indeks vektor per bucket dan batas vektor per indeks, lihatKeterbatasan dan pembatasan.

Lakukan kueri kesamaan

Dengan Vektor S3, Anda dapat melakukan kueri kesamaan yang efisien untuk menemukan vektor yang paling mirip dengan vektor kueri, dengan waktu respons sub-detik. Vektor S3 sangat ideal untuk beban kerja di mana kueri lebih jarang.

Pemfilteran metadata

Anda dapat melampirkan metadata (misalnya, tahun, penulis, genre, dan lokasi) sebagai pasangan nilai kunci ke vektor Anda. Secara default, semua metadata dapat difilter kecuali Anda secara eksplisit menentukannya sebagai tidak dapat difilter. Anda dapat menggunakan metadata yang dapat difilter untuk memfilter hasil kueri berdasarkan atribut tertentu, meningkatkan relevansi kueri Anda. Indeks vektor mendukung string, angka, boolean, dan jenis daftar metadata. Untuk informasi lebih lanjut tentang batas ukuran metadata per vektor dan batas ukuran metadata yang dapat difilter per vektor, lihat. Keterbatasan dan pembatasan

Manajemen akses dan keamanan

Anda dapat mengelola akses sumber daya dalam bucket vektor dengan IAM dan Kebijakan Kontrol Layanan di Organizations AWS . Vektor S3 menggunakan namespace layanan yang berbeda dari Amazon S3: namespace. s3vectors Oleh karena itu, Anda dapat merancang kebijakan khusus untuk layanan Vektor S3 dan sumber dayanya. Anda dapat merancang kebijakan untuk memberikan akses ke indeks vektor individual, semua indeks vektor dalam bucket vektor, atau semua bucket vektor dalam akun. Semua pengaturan Akses Publik Blok Amazon S3 selalu diaktifkan untuk bucket vektor dan tidak dapat dinonaktifkan.

Integrasi dengan AWS layanan

Vektor S3 terintegrasi dengan AWS layanan lain untuk meningkatkan kemampuan pemrosesan vektor Anda:

• Amazon OpenSearch Service - Optimalkan biaya penyimpanan vektor sambil terus menggunakan operasi OpenSearch API. Ini sangat ideal untuk beban kerja yang membutuhkan fungsionalitas pencarian lanjutan seperti pencarian hibrida, agregasi, pemfilteran lanjutan, dan pencarian segi. Anda juga dapat mengekspor snapshot indeks vektor S3 ke Amazon OpenSearch Tanpa Server untuk pencarian vektor QPS tinggi dan latensi rendah.

• Amazon Bedrock Knowledge Bases - Pilih indeks vektor di Vektor S3 sebagai penyimpanan vektor Anda untuk menghemat biaya penyimpanan aplikasi retrieval augmented generation (RAG).

• Amazon Bedrock di SageMaker Unified Studio - Kembangkan dan uji basis pengetahuan menggunakan Vektor S3 sebagai penyimpanan vektor Anda.