Opções de banco de dados vetoriais - AWS Orientação prescritiva

As traduções são geradas por tradução automática. Em caso de conflito entre o conteúdo da tradução e da versão original em inglês, a versão em inglês prevalecerá.

Opções de banco de dados vetoriais

AWS oferece uma ampla variedade de soluções de banco de dados vetoriais para dar suporte a diferentes casos de uso e requisitos em aplicativos generativos de IA. Essas opções podem ser amplamente categorizadas em serviços de banco de dados individuais e ofertas de serviços gerenciados, cada uma com características e vantagens distintas. Compreender essas opções é crucial para organizações que desejam implementar recursos de pesquisa vetorial de forma eficaz, mantendo o desempenho, a escalabilidade e a eficiência de custos ideais.

Para obter mais informações sobre soluções de banco de dados vetoriais, consulte as seções a seguir:

Opções individuais de banco de dados vetoriais

As opções individuais de banco de dados vetoriais AWS incluem Amazon Kendra, Amazon Service e OpenSearch Amazon RDS for PostgreSQL com pgvector. (Uma extensão de código aberto, pgvector adiciona a capacidade de armazenar e pesquisar incorporações vetoriais geradas pelo aprendizado de máquina (ML).) Essas soluções oferecem abordagens diferentes para a pesquisa vetorial, permitindo que as organizações escolham com base em sua infraestrutura existente, requisitos técnicos e casos de uso específicos.

Amazon Kendra

O Amazon Kendra é um serviço de pesquisa inteligente de nível corporativo que usa processamento de linguagem natural e algoritmos avançados de aprendizado de máquina para retornar respostas específicas às perguntas de pesquisa de seus dados. O Amazon Kendra simplifica a implementação da funcionalidade de pesquisa, tornando-o uma solução de back-end eficaz para aplicativos generativos de IA.

Outros recursos importantes do Amazon Kendra incluem o seguinte:

  • Conexões nativas com mais de 40 fontes de dados

  • Recursos integrados de preparação de dados

  • Configuração rápida que não requer profundo conhecimento técnico

Os benefícios do Amazon Kendra incluem o seguinte

Para obter mais informações, consulte Benefícios do Amazon Kendra no Guia do desenvolvedor do Amazon Kendra.

OpenSearch Serviço Amazon

O Amazon OpenSearch Service é um serviço gerenciado que ajuda você a implantar, operar e escalar clusters de OpenSearch serviços no Nuvem AWS.

Os principais recursos do OpenSearch Serviço incluem o seguinte:

  • Mecanismo de pesquisa e análise de código aberto

  • Arquitetura distribuída

  • Processamento de dados em tempo real

Algumas vantagens de usar o OpenSearch Serviço incluem o seguinte:

  • Escalabilidade horizontal

  • RESTful Suporte à API

  • Lida com dados estruturados e não estruturados

  • Análise de dados em tempo real

  • Adequado para vários tamanhos de implantação

Para obter mais informações, consulte Recursos do Amazon OpenSearch Service no OpenSearch Service Developer Guide.

Amazon RDS para PostgreSQL com pgvector

Amazon RDS para PostgreSQL com pgvectorcombina o serviço de banco de dados relacional AWS gerenciado com a extensão de processamento vetorial do PostgreSQL. Essa combinação permite que as organizações armazenem e consultem vetores de alta dimensão enquanto mantêm o Amazon RDS. A solução é particularmente adequada para aplicativos generativos de IA que exigem operações vetoriais em tempo real sem a sobrecarga de gerenciar a infraestrutura do banco de dados.

Principais benefícios do Amazon RDS para PostgreSQL com pgvector incluem o seguinte:

  • Alta disponibilidade

  • Failover automático

  • Econômico () pay-per-use

  • Monitoramento integrado

  • Integração de dados vetoriais em tempo real

Para obter mais informações, consulte Vantagens do Amazon RDS no Guia do usuário do Amazon Relational Database Service.

Opção de serviço gerenciado

O Amazon Bedrock Knowledge Bases representa a abordagem AWS totalmente gerenciada para a implementação de bancos de dados vetoriais. A flexibilidade do serviço nas opções de armazenamento, combinada com seus recursos de gerenciamento automatizado, o torna particularmente valioso para organizações que buscam implementar o RAG sem gerenciar uma infraestrutura complexa.

Com o Amazon Bedrock Knowledge Bases, você pode criar, manter e consultar bases de conhecimento que aprimoram seus modelos básicos usando o RAG. Esse serviço simplifica o processo complexo de implementação do RAG gerenciando todo o pipeline de ingestão, vetorização e recuperação de dados.

Os principais benefícios das bases de conhecimento Amazon Bedrock incluem o seguinte:

Processamento de dados simplificado

  • Ingestão e fragmentação automáticas de dados

  • Extração de texto integrada de vários formatos de arquivo

  • Geração gerenciada de incorporações vetoriais

  • Extração e indexação automáticas de metadados

Implementação simplificada do RAG

  • Estratégias de recuperação pré-configuradas

  • Otimização automática da janela de contexto

  • Ajuste de relevância integrado

  • Recursos de pesquisa semântica prontos para uso

Segurança e governança

  • Controles integrados AWS Identity and Access Management (IAM)

  • Criptografia de dados em repouso e em trânsito

  • Suporte à VPC

  • Registro de auditoria com AWS CloudTrail

O Amazon Bedrock Knowledge Bases oferece suporte a várias opções de armazenamento de vetores. A lista a seguir fornece uma visão geral dos principais recursos de cada opção:

  • Amazon Aurora PostgreSQL com pgvector

    • Armazenamento vetorial compatível com PostgreSQL

    • Integrado aos bancos de dados Aurora existentes

    • Econômico para implantações menores

    • Bom para dados híbridos estruturados e não estruturados

  • Amazon Neptune Analytics

    • Pesquisa vetorial baseada em gráficos

    • Combina dados de relacionamento com vetores

    • Ideal para casos de uso de dados conectados

    • Recursos avançados de consulta

  • Amazon sem OpenSearch servidor

    • Experiência sem servidor totalmente gerenciada

    • Dimensionamento automático com base na carga de trabalho

    • Capacidades k-NN integradas

    • Econômico para cargas de trabalho variadas

  • Pinecone

    • Banco de dados vetorial desenvolvido especificamente

    • Alto desempenho em grande escala

    • Recursos avançados de pesquisa por similaridade

    • Gerenciado por meio do console Amazon Bedrock

  • Redis Nuvem corporativa

    • Capacidades de pesquisa vetorial na memória

    • Desempenho de baixa latência

    • Pesquisa vetorial em tempo real

    • Capacidades de cache integradas

Ao escolher uma loja de vetores compatível com as bases de conhecimento Amazon Bedrock, considere as seguintes características principais de cada opção:

  • Aurora PostgreSQL — dados relacionais com recursos vetoriais

  • Neptune Analytics — Representações de conhecimento baseadas em gráficos

  • OpenSearch Serviço — Foco em pesquisa e análise

  • Pinecone — Desempenho puro de pesquisa vetorial

  • Redis Nuvem corporativa — necessidades em tempo real e de baixa latência

Cada implementação oferece as seguintes vantagens exclusivas:

  • Aurora PostgreSQL — Ideal para aplicativos que precisam de recursos tradicionais de SQL e vetoriais

  • Neptune Analytics — Ideal para consultas complexas baseadas em relacionamentos e gráficos de conhecimento

  • OpenSearch Serviço — Forte em pesquisa e análise de texto completo

  • Pinecone — Otimizado para operações vetoriais puras

  • Redis Enterprise Cloud — A melhor opção para aplicativos em tempo real

A seguir estão alguns pontos-chave a serem considerados ao selecionar um armazenamento vetorial para sua solução RAG:

  • Escalabilidade — Capacidade de lidar com conjuntos de dados grandes e crescentes com eficiência.

  • Desempenho da consulta — recursos de pesquisa de vizinhos mais próximos rápidos e eficientes.

  • Ingestão de dados — Requisitos existentes do modelo de dados. Support para diversos formatos de dados e facilidade de ingestão.

  • Filtragem e classificação — Mecanismos avançados de filtragem e classificação para resultados recuperados.

  • Integração — Integração perfeita com outros sistemas e ferramentas por meio de APIs nossos protocolos.

  • Persistência e durabilidade — opções adequadas de persistência e durabilidade (na memória ou em disco).

  • Concorrência e consistência — Tratamento eficiente do acesso simultâneo e da consistência dos dados.

  • Licenciamento e custo — avaliação do modelo de licenciamento, custos iniciais e contínuos e dependência do fornecedor.

  • Comunidade e suporte — Comunidade vibrante e documentação abrangente.

  • Segurança e conformidade — Adesão aos requisitos necessários de segurança e conformidade.