Amazon OpenSearch Service의 전용 관리자 노드

Amazon OpenSearch Service는 전용 관리자 노드를 사용하여 클러스터 안정성을 높입니다. 전용 관리자 노드는 클러스터 관리 작업을 수행하지만 데이터를 보관하거나 데이터 업로드 요청에 응답하지 않습니다. 클러스터 관리 작업을 오프로드하면 도메인의 안정성이 높아집니다. 다른 모든 노드 유형과 마찬가지로 각 전용 관리자 노드에 대해 시간당 요금을 지불합니다.

전용 관리자 노드는 다음 클러스터 관리 작업을 수행합니다.

• 클러스터의 모든 노드를 추적합니다.

• 클러스터에 있는 인덱스 수를 추적합니다.

• 각 인덱스에 속한 샤드 수를 추적합니다.

• 클러스터에 있는 노드에 대한 라우팅 정보를 유지합니다.

• 인덱스 생성, 클러스터에서 노드 추가 또는 제거와 같은 상태 변경 후 클러스터 상태를 업데이트합니다.

• 클러스터의 모든 노드 간에 클러스터 상태 변경 사항을 복제합니다.

• 클러스터에서 데이터 노드의 가용성을 모니터링하는 주기적인 신호인 하트비트 신호를 전송하여 모든 클러스터 노드의 상태를 모니터링합니다.

다음 그림은 10개의 인스턴스가 있는 OpenSearch Service 도메인을 보여줍니다. 인스턴스 중 7개는 데이터 노드이고 3개는 전용 관리자 노드입니다. 전용 관리자 노드 중 하나만 활성화됩니다. 활성 전용 관리자 노드가 실패할 경우 두 개의 회색 전용 관리자 노드가 백업으로 대기합니다. 모든 데이터 업로드 요청은 7개의 데이터 노드에서 처리되며 모든 클러스터 관리 작업은 활성 전용 관리자 노드로 오프로드됩니다.

전용 관리자 노드 수 선택

각 프로덕션 OpenSearch Service 도메인에 3개의 전용 관리자 노드를 추가하는 대기 모드와 함께 다중 AZ를 사용하는 것이 좋습니다. 대기 또는 단일 AZ 없이 다중 AZ로 배포하는 경우에도 전용 관리자 노드 3개를 사용하는 것이 좋습니다. 짝수의 전용 관리자 노드를 선택하지 마세요. 전용 관리자 노드 수를 선택할 때는 다음 사항을 고려하세요.

• 장애 발생 시 백업이 없기 때문에 OpenSearch Service에서는 전용 관리자 노드 하나를 명시적으로 금지합니다. 전용 관리자 노드가 하나뿐인 도메인을 생성하려고 하면 검증 예외가 발생합니다.

• 전용 관리자 노드가 두 개 있는 경우 클러스터에 장애 발생 시 새 관리자 노드를 선택하는 데 필요한 노드 쿼럼이 없습니다.

  쿼럼은 전용 관리자 노드 수 / 2 + 1(가장 가까운 정수로 내림함)입니다. 이 경우 2/2 + 1 = 2입니다. 전용 관리자 노드 하나가 실패하고 백업 하나만 존재하므로 클러스터에 쿼럼이 없으며 새 관리자를 선택할 수 없습니다.

• 권장 번호인 전용 관리자 노드 3개는 관리자 노드 실패 시 백업 노드 2개와 새 관리자를 선택하는 데 필요한 쿼럼(2)을 제공합니다.

• 4개의 전용 관리자 노드는 3개보다 낫지 않으며 여러 가용 영역을 사용하는 경우 문제가 발생할 수 있습니다.

  • 한 관리자 노드가 실패하면 새 관리자를 선택할 쿼럼(3)이 있습니다. 두 노드가 실패하면 세 개의 전용 관리자 노드와 마찬가지로 해당 쿼럼을 잃게 됩니다.

  • 3개의 가용 영역 구성에서 2개의 AZs에는 1개의 전용 관리자 노드가 있고 1개의 AZ에는 2개의 AZ가 있습니다. 해당 AZ에 중단이 발생하는 경우 나머지 두 AZs에는 새 관리자를 선택하는 데 필요한 쿼럼(3)이 없습니다.

• 5개의 전용 관리자 노드와 3개의 전용 관리자 노드가 있으면 쿼럼을 유지하면서 2개의 노드를 잃을 수 있습니다. 하지만 지정된 시간에 하나의 전용 관리자 노드만 활성화되므로이 구성은 유휴 노드 4개에 대해 비용을 지불한다는 의미입니다. 많은 사용자가 이 수준의 장애 조치 보호를 과하게 사용하고 있습니다.

클러스터에 관리자 적격 노드 수가 짝수인 경우 OpenSearch 및 Elasticsearch 버전 7.x 이상은 투표 구성이 항상 홀수가 되도록 노드 하나를 무시합니다. 이 경우 4개의 전용 관리자 노드는 기본적으로 3개(및 2:1)와 동일합니다.

참고

클러스터에 새 관리자 노드를 선택하는 데 필요한 쿼럼이 없는 경우 클러스터에 대한 쓰기 및 읽기 요청이 모두 실패합니다. 이 동작은 OpenSearch의 기본값과 다릅니다.

전용 관리자 노드의 인스턴스 유형 선택

OpenSearch Service 도메인 및 인스턴스 할당량

전용 관리자 노드는 검색 및 쿼리 요청을 처리하지 않지만, 해당 노드의 크기는 인스턴스 크기 및 관리할 수 있는 인스턴스, 인덱스 및 샤드 수와 밀접한 상관관계가 있습니다. 프로덕션 클러스터의 경우 최소한 전용 관리자 노드에 대해 다음 인스턴스 유형을 사용하는 것이 좋습니다.

다음 권장 사항은 일반적인 워크로드를 기반으로 한 것이며 필요에 따라 달라질 수 있습니다. 샤드나 필드 매핑이 여러 개인 클러스터는 대규모 인스턴스 유형을 활용할 수 있습니다. 자세한 내용은 Amazon OpenSearch Service에 권장되는 CloudWatch 경보를 참조하여 더 큰 인스턴스 유형을 사용해야 하는지 여부를 확인하세요.

RAM	Elasticsearch 및 OpenSearch Service 1.x~2.15에 대한 최대 노드 지원	Elasticsearch 및 OpenSearch Service 2.15 이상에 대한 최대 샤드 지원	Elasticsearch 및 OpenSearch Service 1.x~2.15에 대한 최대 노드 지원	Elasticsearch 및 OpenSearch Service 2.17 이상에 대한 최대 샤드 지원
2GB	해당 사항 없음	해당 사항 없음	10	1K
4GB	해당 사항 없음	해당 사항 없음	10	5K
8GB	10	1만	30	15K
16 GB	30	30K	60	30K
32GB	75	40K	120	60K
64GB	125	75K	240	120K
128GB	200	75K	480	240K
256GB	해당 사항 없음	해당 사항 없음	1002	50만