Trabalhar com o S3 Vectors e buckets de vetores

nota

O Amazon S3 Vectors está na versão prévia para o Amazon Simple Storage Service e está sujeito a alterações.

O que é o Amazon S3 Vectors?

O Amazon S3 Vectors oferece armazenamento de vetores personalizado e com custo otimizado para pesquisa semântica e aplicações de IA. Por ter elasticidade e durabilidade no nível do Amazon S3 para armazenar conjuntos de dados vetoriais com desempenho de consulta inferior a um segundo, o S3 Vectors é ideal para aplicações que precisam criar índices de vetores e aumentá-los. Você obtém um conjunto dedicado de operações de API para armazenar, acessar e realizar consultas de similaridade em dados vetoriais sem provisionar nenhuma infraestrutura. O S3 Vectors consiste em vários componentes principais que funcionam juntos:

• Buckets de vetores: um novo tipo de bucket criado especificamente para armazenar e consultar vetores.

• Índices de vetores: em um bucket de vetores, você pode organizar dados vetoriais dentro de índices de vetores. Você realiza consultas de similaridade nos dados vetoriais dentro dos índices de vetores.

• Vetores: você armazena vetores no índice de vetores. Para pesquisa por similaridade e aplicações de IA, os vetores são criados como incorporações de vetores, que são representações numéricas que preservam as relações semânticas entre o conteúdo (como texto, imagens ou áudio) para que itens semelhantes sejam posicionados mais próximos uns dos outros. O S3 Vectors pode realizar pesquisa por similaridade com base no significado semântico, em vez de na correspondência exata, comparando matematicamente quão próximos os vetores estão uns dos outros. Ao adicionar dados vetoriais a um índice de vetores, você também pode anexar metadados para futuras consultas com filtragem com base em um conjunto de condições (por exemplo, carimbos de data/hora, categorias e preferências do usuário).

As gravações no S3 Vectors são altamente consistentes, o que significa que você pode acessar imediatamente os dados adicionados mais recentemente. Conforme você grava, atualiza e exclui vetores ao longo do tempo, o S3 Vectors otimiza automaticamente os dados vetoriais para obter a melhor relação possível de preço/desempenho para armazenamento de vetores, mesmo quando os conjuntos de dados se ampliam e evoluem. Você pode controlar o acesso aos seus dados vetoriais com os mecanismos existentes de controle de acesso do Amazon S3, como as políticas de bucket e do IAM. Para ter mais informações sobre limites de índice de vetores por bucket e limites de vetores por índice, consulte Limitações e restrições.

Casos de uso: pesquisas por similaridade em grandes conjuntos de dados

As pesquisas por similaridade permitem encontrar itens conceitualmente relacionados entre si com base nas respectivas representações vetoriais, em vez de em correspondências exatas com palavras-chave. Essas pesquisas identificam conteúdo com significados ou características semelhantes, mesmo quando as palavras exatas ou os elementos visuais são diferentes.

Os casos de uso comuns de pesquisa por similaridade com o S3 Vectors incluem:

• Imagens médicas: encontre semelhanças em milhões de imagens médicas para auxiliar no diagnóstico e no planejamento do tratamento.

• Violação de direitos autorais: identifique conteúdo possivelmente derivado de outras fontes em grandes bibliotecas de mídia.

• Desduplicação de imagens: detecte e remova imagens duplicadas ou quase duplicadas de grandes coleções de imagens.

• Compreensão de vídeos: pesquise cenas ou conteúdo específicos em ativos de vídeo.

• Pesquisa de documentos corporativos: habilite a pesquisa semântica em documentos corporativos para encontrar informações relevantes com base no significado.

• Personalização: forneça recomendações personalizadas encontrando itens semelhantes.

Você deve usar o S3 Vectors se quiser criar aplicações econômicas de pesquisa vetorial e de IA agêntica com tempos de pesquisa de menos de um segundo. Com buckets de vetores, você paga apenas pelo que usa e pode reduzir os custos de upload, armazenamento e consulta de incorporações de vetores. Para obter mais informações sobre a definição de preços, consulte Definição de preços do Amazon S3.

Recursos do S3 Vectors

Armazenamento criado especificamente para vetores

O S3 Vectors é o primeiro armazenamento de objetos na nuvem criado especificamente para armazenar e consultar vetores. Os buckets de vetores são projetados para oferecer armazenamento econômico, elástico e durável para dados vetoriais.

As incorporações de vetores estão transformando a maneira como os clientes usam e recuperam seus dados não estruturados, permitindo, por exemplo, que eles detectem semelhanças em imagens médicas, encontrem anomalias em milhares de horas de filmagem de vídeo, naveguem por grandes bases de código e identifiquem a jurisprudência mais relevante para uma questão jurídica específica. Essas aplicações emergentes são associadas a modelos de incorporação para codificar o significado semântico dos dados (por exemplo, texto, imagens, vídeo e código) como incorporações de vetores numéricos.

Em um bucket de vetores, você organiza seus dados vetoriais em índices de vetores sem provisionar a infraestrutura. À medida que você grava, atualiza e exclui vetores ao longo do tempo, o S3 Vectors otimiza automaticamente os dados vetoriais para obter a melhor relação possível de preço/desempenho para o armazenamento de vetores, mesmo quando os conjuntos de dados se expandem e evoluem. Para ter mais informações sobre limites de índice de vetores por bucket e limites de vetores por índice, consulte Limitações e restrições.

Realizar consultas de similaridade

Com o S3 Vectors, você pode realizar consultas de similaridade eficientes para encontrar os vetores mais semelhantes a um vetor de consulta, com tempos de resposta inferiores a um segundo. O S3 Vectors é ideal para workloads em que as consultas são menos frequentes.

Filtragem de metadados

É possível anexar metadados (por exemplo, ano, autor, gênero e localização) como pares de chave-valor aos vetores. Por padrão, todos os metadados são filtráveis, a menos que você os especifique explicitamente como não filtráveis. Você pode usar metadados filtráveis para filtrar os resultados da consulta com base em atributos específicos, aumentando a relevância das consultas. Os índices de vetores permitem tipos de metadados de string, número, booliano e lista. Para ter mais informações sobre limites de tamanho de metadados por vetor e limites de tamanho de metadados filtráveis por vetor, consulte. Limitações e restrições

Gerenciamento de acesso e segurança

Você pode gerenciar o acesso a recursos em buckets de vetores com o IAM e com políticas de controle de serviços no AWS Organizations. O S3 Vectors usa um namespace de serviço diferente do namespace usado pelo Amazon S3: o namespace s3vectors. Portanto, é possível criar políticas especificamente para o S3 Vectors e os recursos desse serviço. Você pode criar políticas para conceder acesso a índices de vetores individuais, a todos os índices de vetores em um bucket de vetores ou a todos os buckets de vetores em uma conta. Todas as configurações do Bloqueio de Acesso Público do Amazon S3 estão sempre habilitadas para buckets de vetores e não podem ser desabilitadas.

Integração com serviços da AWS

O S3 Vectors se integra a outros serviços da AWS para aprimorar seus recursos de processamento de vetores:

• Amazon OpenSearch Service: otimize os custos de armazenamento de vetores e, ao mesmo tempo, continue usando as operações de API do OpenSearch. Isso é ideal para workloads que precisam de uma funcionalidade de pesquisa avançada, como pesquisa híbrida, agregações, filtragem avançada e pesquisa facetada. Você também pode exportar um snapshot de um índice de vetores do S3 para o Amazon OpenSearch Sem Servidor para pesquisa vetorial com alto número de consultas por segundo (QPS) e baixa latência.

• Bases de Conhecimento do Amazon Bedrock: selecione um índice de vetores do S3 Vectors como armazenamento de vetores para reduzir os custos de armazenamento de aplicações de geração aumentada via recuperação (RAG).

• Amazon Bedrock no Estúdio Unificado SageMaker: desenvolva e teste bases de conhecimento usando o S3 Vectors como armazenamento de vetores.