Usar o S3 Vectors com Bases de Conhecimento do Amazon Bedrock

nota

O Amazon S3 Vectors está na versão prévia para o Amazon Simple Storage Service e está sujeito a alterações.

O S3 Vectors se integra às Bases de Conhecimento do Amazon Bedrock e ao Estúdio Unificado Amazon SageMaker AI para simplificar e reduzir o custo do armazenamento de vetores destinado a aplicações de geração aumentada via recuperação (RAG).

Para ter mais informações sobre comandos gerais da CLI nível que integram modelos de incorporação do Amazon Bedrock a operações do S3 Vectors, consulte os tópicos abaixo.

Visão geral da integração

Ao criar uma base de conhecimento no Amazon Bedrock, você pode selecionar o S3 Vectors como seu armazenamento de vetores. Essa integração oferece o seguinte:

• Redução de custos para aplicações de RAG com grandes conjuntos de dados vetoriais.

• Integração perfeita com o fluxo de trabalho de RAG totalmente gerenciado do Amazon Bedrock.

• Gerenciamento automático de vetores pelo serviço Amazon Bedrock.

• Latência de consulta de menos de um segundo para operações de recuperação da base de conhecimento.

As Bases de Conhecimento do Amazon Bedrock oferecem um fluxo de trabalho de RAG completo e totalmente gerenciado. Quando você cria uma base de conhecimento com o S3 Vectors, o Amazon Bedrock busca os dados automaticamente na fonte de dados do S3, converte conteúdo em blocos de texto e gera incorporações e as armazena em seu índice de vetores. Em seguida, você pode consultar a base de conhecimento e gerar respostas baseadas em partes recuperadas dos dados de origem.

Quando usar essa integração

Considere usar o S3 Vectors com as Bases de Conhecimento do Amazon Bedrock quando precisar do seguinte:

• Armazenamento de vetores econômico para grandes conjuntos de dados em que a latência de consulta de menos de um segundo atende aos requisitos da aplicação.

• Recuperação de documentos baseada em texto e imagem para determinados casos de uso, como pesquisa em manuais, políticas e conteúdo visual.

• Aplicações de RAG que priorizem a otimização dos custos de armazenamento em vez de respostas com latência ultrabaixa.

• Operações vetoriais gerenciadas, que não exigem que você aprenda diretamente as operações de API do S3 Vectors. Você pode continuar usando as interfaces já conhecidas do Amazon Bedrock.

• Armazenamento de vetores de longo prazo com a durabilidade e a escalabilidade do Amazon S3.

Essa integração é ideal para organizações que criam aplicações de RAG que precisam pesquisar e extrair insights de conteúdo escrito e de imagens, situação em que os benefícios de custo do S3 Vectors se alinham a requisitos aceitáveis de desempenho de consulta.

Modelos de incorporação compatíveis

A integração do S3 Vectors com as Bases de Conhecimento do Amazon Bedrock permite os seguintes modelos de incorporação:

• amazon.titan-embed-text-v2:0: para incorporações baseadas em texto.

• amazon.titan-embed-image-v1: para incorporações de imagens e multimodais.

• cohere.embed-english-v3: para incorporações de textos multilíngues e especializados.

Pré-requisitos e permissões

Antes de criar uma base de conhecimento com o S3 Vectors, verifique se você:

• Você tem as permissões apropriadas do IAM para os serviços S3 Vectors e Amazon Bedrock. Para ter mais informações sobre permissões do IAM para S3 Vectors, consulte Gerenciamento de identidade e acesso no S3 Vectors. Para ter mais informações sobre as permissões do IAM para o perfil de serviço das Bases de Conhecimento do Amazon Bedrock acessar o S3 Vectors, consulte Permissions to access your vector store in Amazon S3 Vectors no Guia do usuário do Amazon Bedrock.

• Você tem os documentos de origem preparados para serem inseridos na base de conhecimento.

• Você conhece os requisitos do seu modelo de incorporação.

Ao definir as configurações de segurança, você pode escolher um perfil do IAM que conceda ao Amazon Bedrock permissão para acessar os serviços necessários da AWS. Você pode permitir que o Amazon Bedrock crie o perfil de serviço ou usar um perfil personalizado por você. Se você usar um perfil personalizado, configure uma política de bucket de vetores que permita que somente o perfil personalizado acesse o bucket de vetores e o índice de vetores.

Para ter informações detalhadas sobre as permissões necessárias e os perfis do IAM, consulte Create a service role for Amazon Bedrock Knowledge Bases no Guia do usuário do Amazon Bedrock. O perfil de serviço também deve ter permissões para o S3 Vector e operações de API do AWS KMS.

Criar uma base de conhecimento com o S3 Vectors

Você pode utilizar dois métodos para criar uma base de conhecimento que use o S3 Vectors.

Método um: usar o console do Amazon Bedrock

Ao criar uma base de conhecimento no console do Amazon Bedrock, você pode escolher “Bucket de vetores do S3” como sua opção de armazenamento de vetores. Você tem duas opções:

• Criar rapidamente um armazenamento de vetores: o Amazon Bedrock cria um bucket de vetores e um índice de vetores do S3 e os define com as configurações necessárias para você. Por padrão, o bucket de vetores é criptografado usando a criptografia do lado do servidor com chaves gerenciadas pelo Amazon S3 (SSE-S3). Opcionalmente, você pode criptografar o bucket usando o AWS KMS. Para ter mais informações sobre como criar rapidamente um armazenamento de vetores no console, consulte Create a knowledge base by connecting to a data source in Amazon Bedrock Knowledge Bases no Guia do usuário do Amazon Bedrock.

• Escolher um armazenamento de vetores que você criou: escolha um bucket de vetores e um índice de vetores do S3 em sua conta que você criou anteriormente. Para ter mais informações sobre como criar um bucket de vetores e um índice de vetores do S3 no console das Bases de Conhecimento do Amazon Bedrock, consulte a guia “Amazon S3 Vectors” em Prerequisites for using a vector store you created for a knowledge base no Guia do usuário do Amazon Bedrock.

Para obter instruções detalhadas, consulte Create a knowledge base by connecting to a data source in Amazon Bedrock Knowledge Bases no Guia do usuário do Amazon Bedrock.

Método dois: usar o Estúdio Unificado Amazon SageMaker

Você também pode criar e gerenciar bases de conhecimento com o S3 Vectors por meio do Amazon Bedrock no Estúdio Unificado Amazon SageMaker AI. Isso oferece um ambiente de desenvolvimento unificado para criar e testar aplicações de IA que usam bases de conhecimento.

O Amazon Bedrock no Estúdio Unificado SageMaker AI foi projetado para usuários que precisam de recursos integrados de caderno e trabalham em vários serviços de ML e analytics da AWS. Você pode criar rapidamente um bucket de vetores do S3 e configurá-lo como armazenamento de vetores para suas bases de conhecimento ao criar aplicações de IA generativa.

Para ter informações sobre o uso do S3 Vectors com o Amazon Bedrock no Estúdio Unificado SageMaker AI, consulte Add a data source to your Amazon Bedrock app no Guia do usuário do Estúdio Unificado Amazon SageMaker AI.

Gerenciar e consultar uma base de conhecimento

Sincronização e gerenciamento de dados

As Bases de Conhecimento do Amazon Bedrock oferecem operações de trabalho de ingestão para manter sua fonte de dados e incorporações de vetores sincronizadas. Quando você sincroniza sua fonte de dados, o Amazon Bedrock examina cada documento e verifica se ele foi indexado no armazenamento de vetores. Você também pode indexar documentos diretamente no armazenamento de vetores usando a operação IngestKnowledgeBaseDocuments. A prática recomendada é criar um armazenamento de vetores separado para cada base de conhecimento com o objetivo de garantir a sincronização dos dados.

Quando você exclui uma base de conhecimento ou um recurso de fonte de dados, o Amazon Bedrock oferece duas políticas de exclusão de dados: Delete (padrão) e Retain. Se você escolher a política Delete, os vetores no índice de vetores e no bucket de vetores serão excluídos automaticamente.

Consulta e recuperação

Depois de configurar a base de conhecimento, você pode fazer o seguinte:

• Recuperar fragmentos de dados da fonte usando a operação da API Retrieve.

• Gerar respostas com base nos fragmentos recuperados usando a operação de API RetrieveAndGenerate.

• Testar consultas diretamente no console do Amazon Bedrock.

As respostas são exibidas com citações dos dados da fonte original.

Limitações

Ao usar o S3 Vectors com as Bases de Conhecimento do Amazon Bedrock, você deve conhecer as seguintes limitações:

• Somente pesquisa semântica: o S3 Vectors é compatível com pesquisa semântica, mas não com os recursos de pesquisa híbrida.

• Limites de tamanho do S3 Vectors: cada vetor tem um limite de tamanho total de metadados e um limite de tamanho para metadados filtráveis, o que pode limitar os metadados personalizados e as opções de filtragem. Para ter mais informações sobre metadados e limites de tamanho de metadados filtráveis por vetor, consulte Limitações e restrições.

• Restrições à estratégia de fragmentação: somente os modelos que dividem o conteúdo em fragmentos de até 500 tokens devido às restrições de tamanho dos metadados.

• Somente vetores de ponto flutuante: não há suporte para incorporações de vetores binários.

Para obter orientação abrangente sobre como trabalhar com as Bases de Conhecimento do Amazon Bedrock, consulte Retrieve data and generate AI responses with Amazon Bedrock Knowledge Bases no Guia do usuário do Amazon Bedrock.