Usar o S3 Vectors com o OpenSearch Service

nota

O Amazon S3 Vectors está na versão prévia para o Amazon Simple Storage Service e está sujeito a alterações.

O Amazon S3 Vectors integra-se ao OpenSearch para oferecer recursos flexíveis de armazenamento e pesquisa vetorial. Essa integração permite otimizar os custos armazenando vetores no S3 Vectors e, ao mesmo tempo, aproveitar os recursos de pesquisa avançada do OpenSearch.

Há duas integrações entre o S3 Vectors e o OpenSearch. Uma delas é exportar dados vetoriais do S3 Vectors para o OpenSearch Sem Servidor para ter recursos de pesquisa de alto desempenho. A outra usa o S3 Vectors como um mecanismo de armazenamento econômico no OpenSearch, mantendo o acesso à funcionalidade do OpenSearch.

Exportar para o OpenSearch Sem Servidor

Você pode exportar índices de vetores do S3 Vectors para coleções do OpenSearch Sem Servidor para operações de pesquisa de alto desempenho, pesquisa híbrida, agregações, filtragem avançada e pesquisa facetada. Quando exportados, os dados são copiados para o OpenSearch Sem Servidor, mas permanecem no S3 Vectors, o que significa que você pagará pelos dois serviços durante esse período.

Quando usar essa integração

Considere a possibilidade de exportar para o OpenSearch Sem Servidor usando o S3 Vectors quando precisar do seguinte:

• Recursos de pesquisa híbrida que combinem similaridade vetorial com pesquisa por palavra-chave.

• Alto throughput de consulta para workloads exigentes.

• Respostas com baixa latência para aplicações em tempo real que exigem tempos de resposta em milissegundos.

• Analytics avançada que inclua agregações, pesquisa facetada e filtragem complexa.

Pré-requisitos

Antes de usar o S3 Vectors com o OpenSearch, verifique se você:

• Tem um bucket de vetores do S3 com índices de vetores que contêm os seus dados.

• Tem permissões do IAM apropriadas para o S3 Vectors e o OpenSearch Service.

• Sabe quais são seus requisitos de desempenho para escolher o método de integração apropriado.

Começar

Como usar a AWS Management Console

Como exportar dados vetoriais para o OpenSearch

1. Faça login no AWS Management Console e abra o console do Amazon S3 em https://console.aws.amazon.com/s3/.

2. No painel de navegação, escolha Buckets de vetores.

3. Na lista de buckets de vetores, escolha o nome do bucket que contém os dados vetoriais que você deseja exportar.

4. Em Índices de vetores, selecione o botão de opção ao lado do índice de vetores que você deseja exportar.

5. Escolha Exportação de pesquisa avançada e selecione Exportar para o OpenSearch.

Importante

• Exportação pontual: a exportação captura dados até o início da exportação. Se você fizer atualizações em seus dados vetoriais durante a ingestão no OpenSearch, nem todas as atualizações serão reproduzidas no OpenSearch.

• Operação única: como é uma exportação única, ela não permanecerá sincronizada com seus dados do S3 Vectors. Você deve reexportar manualmente para capturar quaisquer alterações subsequentes.

Em seguida, para configurar e gerenciar a integração do S3 Vector com o Amazon OpenSearch Service, você trabalhará principalmente por meio do console do OpenSearch.

Como visualizar as exportações para o OpenSearch

1. Faça login no AWS Management Console e abra o console do Amazon S3 em https://console.aws.amazon.com/s3/.

2. No painel de navegação, escolha Buckets de vetores.

3. Na lista de buckets de vetores, escolha o nome do bucket que contém os dados vetoriais que você deseja exportar.

4. Em Índices de vetores, escolha Exportação de pesquisa avançada e selecione Visualizar exportações para o OpenSearch.

Em seguida, você visualizará as exportações para o OpenSearch por meio do console do OpenSearch.

Para ter mais informações sobre como criar e gerenciar coleções do OpenSearch Sem Servidor, consulte Creating and managing Amazon OpenSearch Service Serverless collections no Guia do desenvolvedor do Amazon OpenSearch Service.

OpenSearch com o mecanismo do S3 Vectors

Você pode usar o S3 Vectors como o mecanismo de armazenamento subjacente para clusters gerenciados pelo Amazon OpenSearch, o que oferece armazenamento de vetores com custo otimizado e mantém a funcionalidade do OpenSearch.

Quando usar essa integração

Considere a possibilidade de usar o OpenSearch com o mecanismo do S3 Vectors quando precisar do seguinte:

• Recursos de pesquisa híbrida que combinem similaridade vetorial com pesquisa por palavra-chave.

• Throughput de consulta mais baixo caso os padrões de uso sejam menos frequentes ou esporádicos.

• Maior tolerância à latência para aplicações que podem aceitar tempos de resposta mais longos em troca de redução de custos.

• Analytics avançada que inclua agregações, pesquisa facetada e filtragem complexa.

• Fluxos de trabalho existentes do OpenSearch que você deseja ampliar com um armazenamento de vetores econômico.

Pré-requisitos

Antes de usar o OpenSearch com o mecanismo do S3 Vectors, verifique se você tem:

• Um domínio gerenciado existente do OpenSearch. Para obter mais informações, consulte Criação e gerenciamento de domínios do Amazon OpenSearch Service no Guia do desenvolvedor do Amazon OpenSearch Service.

• Sabe quais são seus requisitos de desempenho para escolher o método de integração apropriado.

Conceitos básicos

Para usar o OpenSearch com o mecanismo do S3 Vectors, configure seu mecanismo para o S3_Vectors durante a criação do índice no OpenSearch. Para ter mais informações sobre o modelo que você usa ao criar um índice no OpenSearch Service, bem como sobre onde especificar o tipo de mecanismo, consulte Methods and engines. Para ter mais informações sobre a integração entre o OpenSearch e o mecanismo do S3 Vectors, consulte Advanced search capabilities with an S3 Vectors engine no Guia do desenvolvedor do Amazon OpenSearch Service.