Amazon OpenSearch Service용 OR1 스토리지

OR1은 대량의 데이터를 저장하는 비용 효율적인 방법을 제공하는 Amazon OpenSearch Service의 인스턴스 패밀리입니다. OR1 인스턴스가 있는 도메인은 Amazon Elastic Block Store(Amazon EBS) gp3 또는 io1 볼륨을 기본 스토리지로 사용하며, 데이터가 도착하면 Amazon S3에 동기적으로 복사됩니다. 이 스토리지 구조는 향상된 인덱싱 처리량과 높은 내구성을 제공합니다. 또한 OR1 인스턴스 패밀리는 장애 발생 시 자동 데이터 복구를 지원합니다. OR1 인스턴스 유형 옵션에 대한 자세한 내용은 현재 세대 인스턴스 유형 섹션을 참조하세요.

로그 분석, 관찰성 또는 보안 분석과 같은 운영 분석 워크로드의 인덱싱을 실행하는 경우 OR1 인스턴스의 향상된 성능과 컴퓨팅 효율성의 이점을 누릴 수 있습니다. 또한 OR1 인스턴스에서 제공하는 자동 데이터 복구는 도메인의 전반적인 신뢰성을 개선합니다.

OpenSearch Service는 Amazon CloudWatch에 스토리지 관련 OR1 지표를 전송합니다. 사용 가능한 지표 목록은 OR1 지표 단원을 참조하십시오.

OR1 인스턴스는 온디맨드 또는 예약 인스턴스 요금으로 사용할 수 있으며, Amazon EBS 및 Amazon S3에서 프로비저닝된 인스턴스 및 스토리지에 대한 시간당 요금이 적용됩니다.

제한 사항

도메인에 대해 OR1 인스턴스를 사용할 때 다음 제한 사항을 고려합니다.

• 새로 생성된 도메인은 OpenSearch 버전 2.11 이상을 실행해야 합니다.

• 기존 도메인은 OpenSearch 버전 2.15 이상을 실행해야 합니다.

• 도메인에서 저장 시 암호화가 활성화되어 있어야 합니다. 자세한 내용은 Amazon OpenSearch Service에 대한 저장 데이터 암호화 단원을 참조하십시오.

• 도메인이 전용 마스터 노드를 사용하는 경우 Graviton 인스턴스를 사용해야 합니다. 전용 마스터 노드에 대한 자세한 내용은 Amazon OpenSearch Service의 전용 마스터 노드 섹션을 참조하세요.

• OR1 인스턴스에서 인덱스의 새로 고침 간격은 10초 이상이어야 합니다. OR1 인스턴스의 기본 새로 고침 간격은 10초입니다.

더 나은 수집 처리량을 위한 조정

OR1 인스턴스에서 최적의 인덱싱 처리량을 얻으려면 다음을 수행하는 것이 좋습니다.

• 대용량 크기를 사용하여 버퍼 사용률을 개선합니다. 권장 크기는 10MB입니다.

• 병렬 처리 성능을 개선하려면 여러 클라이언트를 사용합니다.

• 리소스 사용률을 극대화하기 위해 데이터 노드 수와 일치하도록 활성 기본 샤드 수를 설정합니다.

OpenSearch의 최적화된 인스턴스와 OpenSearch의 최적화되지 않은 인스턴스의 차이

OpenSearch의 최적화된 인스턴스와 OpenSearch의 최적화되지 않은 인스턴스는 다음 면에서 차이가 납니다.

• OpenSearch의 최적화된 인스턴스에서는 기본 샤드에서만 인덱싱이 수행됩니다.

• OpenSearch의 최적화된 인스턴스가 복제본으로 구성된 경우 인덱싱 속도가 실제보다 낮게 나타날 수 있습니다. 예를 들어 기본 샤드 1개와 복제본 샤드 1개가 있는 경우 인덱싱 속도는 1,000의 속도를 표시될 수 있지만 실제 인덱싱 속도는 2,000입니다.

• OpenSearch의 최적화된 인스턴스는 원격 소스로 전송하기 전에 버퍼 작업을 수행합니다. 이에 따라 수집 지연 시간이 길어집니다.

  참고

  IndexingLatency 지표에는 translog 동기화 시간이 포함되지 않으므로 지표에는 영향을 주지 않습니다.

• 복제본 샤드는 기본 샤드보다 몇 초 지연될 수 있습니다. ReplicationLagMaxTime 지표에서 시간 지연을 확인할 수 있습니다.

OR1과 UltraWarm 스토리지의 차이

OpenSearch Service는 대량의 읽기 전용 데이터를 저장하는 비용 효율적인 방법인 UltraWarm 인스턴스를 제공합니다. OR1 및 UltraWarm 인스턴스는 모두 Amazon EBS에 로컬로 데이터를 저장하고 Amazon S3에 원격으로 데이터를 저장합니다. 그러나 OR1 및 UltraWarm 인스턴스는 몇 가지 중요한 방식에서 차이가 납니다.

• OR1 인스턴스는 로컬 및 원격 스토어 모두에 데이터 사본을 보관합니다. UltraWarm 인스턴스에서 데이터는 스토리지 비용을 절감하기 위해 주로 원격 스토어에 보관됩니다. 사용량 패턴에 따라 데이터를 로컬 스토리지로 이동할 수 있습니다.

• OR1 인스턴스는 활성 상태이며 읽기 및 쓰기 작업을 수락할 수 있는 반면, UltraWarm 인스턴스의 데이터는 수동으로 핫 스토리지로 다시 이동할 때까지 읽기 전용입니다.

• UltraWarm은 데이터 내구성을 위해 인덱스 스냅샷을 사용합니다. 이에 비해 OR1 인스턴스는 백그라운드에서 복제 및 복구를 수행합니다. 빨간색 인덱스가 있는 경우 OR1 인스턴스는 Amazon S3의 원격 스토리지에서 누락된 샤드를 자동 복원합니다. 복구 시간은 복구할 데이터의 양에 따라 달라집니다.

UltraWarm 스토리지에 대한 자세한 내용은 Amazon OpenSearch Service를 위한 UltraWarm 스토리지 섹션을 참조하세요.

OR1 인스턴스 사용

AWS Management Console, AWS Command Line Interface(AWS CLI) 또는 AWS SDK로 새 도메인을 생성할 때 데이터 노드에 대한 OR1 인스턴스를 선택할 수 있습니다. 기존 도구를 사용하여 데이터를 인덱싱하고 쿼리할 수 있습니다.

콘솔

1. Amazon OpenSearch Service 콘솔(https://console.aws.amazon.com/aos/)로 이동합니다.

2. 왼쪽 탐색 창에서 Domains(도메인)를 선택합니다.

3. 도메인 생성(Create domain)을 선택합니다.

4. 도메인 이름과 기타 기본 옵션을 입력합니다. 인스턴스 제품군에서 OR1을 선택합니다. 생성을 선택하여 도메인 생성 프로세스를 시작합니다.

AWS CLI

1. AWS CLI 터미널로 이동합니다. AWS CLI를 설치해야 하는 경우 최신 버전의 AWS CLI 설치 또는 업데이트를 참조하세요.

2. OR1 스토리지를 사용하려면 도메인을 생성할 때 특정 OR1 인스턴스 유형 크기 값을 InstanceType 필드에 제공해야 합니다. 저장 시 암호화도 활성화해야 합니다.

   다음 예제에서는 크기가 2xlarge인 OR1 인스턴스를 사용하여 도메인을 생성합니다.

   aws opensearch create-domain \
     --domain-name test-domain \
     --engine-version OpenSearch_2.11 \
     --cluster-config "InstanceType=or1.2xlarge.search,InstanceCount=3,DedicatedMasterEnabled=true,DedicatedMasterType=r6g.large.search,DedicatedMasterCount=3" \
     --ebs-options "EBSEnabled=true,VolumeType=gp3,VolumeSize=200" \
     --encryption-at-rest-options Enabled=true \
     --advanced-security-options "Enabled=true,InternalUserDatabaseEnabled=true,MasterUserOptions={MasterUserName=test-user,MasterUserPassword=test-password}" \
     --node-to-node-encryption-options Enabled=true \
     --domain-endpoint-options EnforceHTTPS=true \
     --access-policies '{"Version":"2012-10-17","Statement":[{"Effect":"Allow","Principal":{"AWS":"*"},"Action":"es:*","Resource":"arn:aws:es:us-east-1:account-id:domain/test-domain/*"}]}'