OpenSearch Service에서 S3 Vectors 사용 - Amazon Simple Storage Service
OpenSearch Serverless로 내보내기S3 Vectors 엔진과 함께 OpenSearch 사용

OpenSearch Service에서 S3 Vectors 사용

참고

Amazon S3 Vectors는 Amazon Simple Storage Service의 미리 보기 릴리스이며 변경될 수 있습니다.

Amazon S3 Vectors는 OpenSearch와 통합되어 유연한 벡터 스토리지 및 검색 기능을 제공합니다. 이 통합을 통해 OpenSearch의 고급 검색 기능을 활용하면서 S3 Vectors에 벡터를 저장하여 비용을 최적화할 수 있습니다.

S3 Vectors와 OpenSearch 간에는 두 가지 통합이 있습니다. 하나는 고성능 검색 기능을 위해 S3 Vectors에서 OpenSearch Serverless로 벡터 데이터를 내보내는 것입니다. 다른 하나는 OpenSearch 기능에 대한 액세스를 유지하면서 S3 Vectors를 OpenSearch 내에서 비용 효과적인 스토리지 엔진으로 사용하는 것입니다.

OpenSearch Serverless로 내보내기

고성능 검색 작업, 하이브리드 검색, 집계, 고급 필터링 및 패싯된 검색을 위해 S3 Vectors에서 OpenSearch Serverless 컬렉션으로 벡터 인덱스를 내보낼 수 있습니다. 내보내면 S3 Vectors에 남아 있는 동안 데이터가 OpenSearch Serverless로 복사되므로 이 기간 동안 두 서비스에 대한 비용을 지불하게 됩니다.

이 통합을 사용해야 하는 경우

다음이 필요한 경우 S3 Vectors에서 OpenSearch Serverless로 내보내는 것이 좋습니다.

  • 벡터 유사성을 키워드 검색과 결합하는 하이브리드 검색 기능.

  • 까다로운 워크로드에 대한 높은 쿼리 처리량.

  • 밀리초의 응답 시간이 필요한 실시간 애플리케이션을 위한 지연 시간이 짧은 응답.

  • 집계, 패싯된 검색 및 복잡한 필터링을 포함하는 고급 분석.

사전 조건

OpenSearch에서 S3 Vectors를 사용하기 전에 다음이 있는지 확인합니다.

  • 데이터가 포함된 벡터 인덱스가 있는 기존 S3 벡터 버킷.

  • S3 Vectors 및 OpenSearch Service 모두에 대한 적절한 IAM 권한.

  • 적절한 통합 방법을 선택하기 위한 성능 요구 사항에 대한 이해.

시작

AWS Management Console 사용하기

벡터 데이터를 OpenSearch로 내보내기

  1. AWS Management Console에 로그인한 후 https://console.aws.amazon.com/s3/에서 S3 콘솔을 엽니다.

  2. 탐색 창에서 벡터 버킷을 선택합니다.

  3. 벡터 버킷 목록에서 내보내려는 벡터 데이터가 포함된 버킷 이름을 선택합니다.

  4. 벡터 인덱스에서 내보내려는 벡터 인덱스 옆에 있는 라디오 버튼을 선택합니다.

  5. 고급 검색 내보내기를 선택한 다음 OpenSearch로 내보내기를 선택합니다.

중요

  • 특정 시점 내보내기: 내보내기는 내보내기가 시작될 때까지 데이터를 캡처합니다. OpenSearch로 수집하는 동안 벡터 데이터를 업데이트하는 경우 모든 업데이트가 OpenSearch에 반영되지는 않습니다.

  • 일회성 작업: 일회성 내보내기이며, S3 Vectors 데이터와 동기화되지 않습니다. 후속 변경 사항을 캡처하려면 수동으로 다시 내보내야 합니다.

그런 다음 S3 Vectors와 Amazon OpenSearch Service의 통합을 구성하고 관리하기 위해 주로 OpenSearch 콘솔을 통해 작업합니다.

OpenSearch로 내보내기 보기

  1. AWS Management Console에 로그인한 후 https://console.aws.amazon.com/s3/에서 S3 콘솔을 엽니다.

  2. 탐색 창에서 벡터 버킷을 선택합니다.

  3. 벡터 버킷 목록에서 내보내려는 벡터 데이터가 포함된 버킷 이름을 선택합니다.

  4. 벡터 인덱스에서 고급 검색 내보내기를 선택한 다음 OpenSearch로 내보내기 보기를 선택합니다.

그런 다음 OpenSearch 콘솔을 통해 OpenSearch로 내보내기를 볼 수 있습니다.

OpenSearch Serverless 컬렉션 만들기 및 관리에 대한자세한 내용은 Amazon OpenSearch Service 개발자 안내서의 Creating and managing Amazon OpenSearch Service Serverless collections를 참조하세요.

S3 Vectors 엔진과 함께 OpenSearch 사용

S3 Vectors를 Amazon OpenSearch 관리형 클러스터의 기본 스토리지 엔진으로 사용하여 OpenSearch 기능을 유지하면서 비용 최적화된 벡터 스토리지를 제공할 수 있습니다.

이 통합을 사용해야 하는 경우

다음이 필요한 경우 S3 Vectors 엔진과 함께 OpenSearch를 사용하는 것이 좋습니다.

  • 벡터 유사성을 키워드 검색과 결합하는 하이브리드 검색 기능.

  • 빈도가 낮거나 산발적인 사용 패턴을 가질 수 있는 낮은 쿼리 처리량.

  • 비용 절감의 대가로 더 긴 응답 시간을 수용할 수 있는 애플리케이션을 위한 더 높은 지연 시간 허용 범위.

  • 집계, 패싯된 검색 및 복잡한 필터링을 포함하는 고급 분석.

  • 비용 효과적인 벡터 스토리지로 확장하려는 기존 OpenSearch 워크플로.

사전 조건

S3 Vectors 엔진과 함께 OpenSearch를 사용하기 전에 다음을 갖추어야 합니다.

  • 기존 OpenSearch 관리형 도메인. 자세한 내용을 알아보려면 Amazon OpenSearch Service 개발자 안내서의 Amazon OpenSearch Service 도메인 생성 및 관리를 참조하세요.

  • 적절한 통합 방법을 선택하기 위한 성능 요구 사항에 대한 이해.

시작하기

S3 Vectors 엔진과 함께 OpenSearch를 사용하려면 OpenSearch에서 인덱스를 만드는 동안 엔진을 S3_Vectors로 설정합니다. 엔진 유형을 지정하는 위치를 포함하여 OpenSearch Service에서 인덱스를 만들 때 사용하는 템플릿에 대한 자세한 내용은 Methods and engines를 참조하세요. OpenSearch와 S3 Vectors 엔진 간의 통합에 대한 자세한 내용은 Amazon OpenSearch Service 개발자 안내서의 Advanced search capabilities with an S3 Vectors engine을 참조하세요.