아마존 OpenSearch 인제션 - 아마존 OpenSearch 서비스
주요 개념이점제한 사항지원되는 Data Prepper 버전파이프라인 크기 조정요금지원됨 AWS 리전할당량

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

아마존 OpenSearch 인제션

Amazon OpenSearch Ingestion은 Amazon OpenSearch Service 도메인과 서버리스 컬렉션에 실시간 로그, 지표 및 추적 데이터를 제공하는 완전 관리형 서버리스 데이터 수집기입니다. OpenSearch

OpenSearch Ingestion을 사용하면 더 이상 Logstash 또는 Jaeger와 같은 타사 솔루션을 사용하여 서비스 도메인 및 서버리스 컬렉션으로 데이터를 수집할 필요가 없습니다. OpenSearch OpenSearch Ingestion에 데이터를 보내도록 데이터 생산자를 구성합니다. OpenSearch 그런 다음 지정한 도메인이나 컬렉션에 데이터를 자동으로 전달합니다. 데이터를 전송하기 전에 데이터를 변환하도록 OpenSearch Ingestion을 구성할 수도 있습니다.

또한 OpenSearch Ingestion을 사용하면 서버 프로비저닝, 소프트웨어 관리 및 패치 적용, 서버 클러스터 확장에 대해 걱정할 필요가 없습니다. 통합 파이프라인을 에서 직접 프로비저닝하면 Ingestion이 AWS Management Console관리 및 확장을 OpenSearch 담당합니다.

OpenSearch 수집은 아마존 서비스의 일부입니다. OpenSearch 다운스트림 분석 및 시각화를 위해 데이터를 필터링, 강화, 변환, 정규화 및 집계할 수 있는 오픈 소스 데이터 수집기인 Data Prepper를 기반으로 합니다.

주제

주요 개념

OpenSearch 수집을 시작할 때 다음 개념을 이해하면 도움이 될 수 있습니다.

파이프라인

OpenSearch 통합 관점에서 볼 때 파이프라인은 Service 내에서 생성하는 프로비저닝된 단일 데이터 수집기를 말합니다. OpenSearch 이는 하나 이상의 하위 파이프라인이 포함된 전체 YAML 구성 파일이라고 생각하면 됩니다. 수집 파이프라인을 만드는 단계는 파이프라인 생성을 참조하세요.

하위 파이프라인

YAML 구성 파일 내에서 하위 파이프라인을 정의합니다. 각 하위 파이프라인은 소스, 버퍼, 0개 이상의 프로세서, 1개 이상의 싱크의 조합입니다. YAML 파일 하나에 각각 고유한 소스, 프로세서, 싱크가 있는 여러 개의 하위 파이프라인을 정의할 수 있습니다. 기타 서비스를 통한 모니터링을 지원하려면 모든 하위 CloudWatch 파이프라인과 구별되는 파이프라인 이름을 지정하는 것이 좋습니다.

단일 YAML 파일 내에 여러 하위 파이프라인을 함께 문자화하여 한 하위 파이프라인의 소스가 다른 하위 파이프라인이고 해당 싱크가 세 번째 하위 파이프라인이 되도록 할 수 있습니다. 예시는 Collector와 함께 통합 OpenSearch 파이프라인 사용 OpenTelemetry 을 확인하세요.

소스

하위 파이프라인의 입력 구성 요소입니다. 파이프라인이 레코드를 소비하는 메커니즘을 정의합니다. 소스는 HTTPS를 통해 이벤트를 수신하거나 Amazon S3와 같은 외부 엔드포인트에서 읽어 이벤트를 소비할 수 있습니다. 소스에는 푸시 기반과 풀 기반의 두 가지 유형이 있습니다. HTTP 및 OTel 로그와 같은 푸시 기반 소스는 레코드를 수집 엔드포인트로 스트리밍합니다. OTel 추적 및 S3와 같은 풀 기반 소스는 소스에서 데이터를 가져옵니다.

Processors

레코드를 싱크에 게시하기 전에 원하는 형식으로 필터링, 변환 및 보강할 수 있는 중간 처리 장치입니다. 프로세서는 파이프라인의 선택적 구성 요소입니다. 프로세서를 정의하지 않으면 소스에 정의된 형식으로 레코드가 게시됩니다. 프로세서가 하나 이상 있을 수 있습니다. 파이프라인은 사용자가 정의한 순서대로 프로세서를 실행합니다.

Sink

하위 파이프라인의 출력 구성 요소입니다. 하위 파이프라인이 레코드를 게시하는 대상을 하나 이상 정의합니다. OpenSearch Ingestion은 OpenSearch 서비스 도메인을 싱크로 지원합니다. 또한 하위 파이프라인을 싱크로 지원합니다. 즉, OpenSearch 단일 통합 파이프라인 (YAML 파일) 내에서 여러 하위 파이프라인을 하나로 묶을 수 있습니다. 자체 관리형 OpenSearch 클러스터는 싱크로 지원되지 않습니다.

Buffer

소스와 싱크 사이의 계층 역할을 하는 프로세서의 일부입니다. 파이프라인 내에서 수동으로 버퍼를 구성할 수 없습니다. OpenSearch 인제스트는 기본 버퍼 구성을 사용합니다.

경로

파이프라인 작성자가 특정 조건에 맞는 이벤트만 다른 싱크로 전송할 수 있도록 하는 프로세서의 일부입니다.

유효한 하위 파이프라인 정의에는 소스와 싱크가 포함되어야 합니다. 각 파이프라인 요소에 대한 자세한 내용은 구성 참조를 참조하세요.

인제스트의 이점 OpenSearch

OpenSearch 섭취의 주요 이점은 다음과 같습니다.

  • 자체 프로비저닝된 파이프라인을 수동으로 관리할 필요가 없습니다.

  • 정의한 용량 한도에 따라 파이프라인을 자동으로 확장합니다.

  • 보안 및 버그 패치를 통해 파이프라인을 최신 상태로 유지합니다.

  • 추가 보안 계층을 위해 파이프라인을 Virtual Private Cloud(VPC)에 연결하는 옵션을 제공합니다.

  • 파이프라인을 중지하고 시작하여 비용을 제어할 수 있습니다.

  • 자주 사용되는 사용 사례에 대한 파이프라인 구성 청사진을 제공하여 더 빠르게 시작하고 실행할 수 있도록 지원합니다.

  • 다양한 AWS SDK 및 통합 API를 통해 파이프라인과 프로그래밍 방식으로 상호 작용할 수 있습니다. OpenSearch

  • Amazon의 성능 모니터링 CloudWatch 및 Logs의 오류 CloudWatch 로깅을 지원합니다.

제한 사항

OpenSearch 수집에는 다음과 같은 제한이 있습니다.

지원되는 Data Prepper 버전

OpenSearch Ingestion은 현재 다음과 같은 주요 버전의 Data Prepper를 지원합니다.

  • 2.x

파이프라인을 생성할 때 필요한 version 옵션을 사용하여 사용할 Data Prepper의 메이저 버전을 지정하세요. 예를 들어,. version: "2" OpenSearch Ingestion은 해당 메이저 버전에서 지원되는 최신 마이너 버전을 검색하고 해당 버전으로 파이프라인을 프로비저닝합니다. 자세한 정보는 파이프라인 버전 지정을 참조하세요.

현재 OpenSearch 수집 파이프라인은 Data Prepper 버전 2.7과 함께 프로비저닝됩니다. 자세한 내용은 2.7 릴리스 노트를 참조하십시오. Data Prepper의 각 버전에 포함된 기능 및 버그 수정에 대한 자세한 내용은 릴리스 페이지를 참조하세요. OpenSearch Ingestion은 특정 메이저 버전의 모든 마이너 버전을 지원하는 것은 아닙니다.

파이프라인의 YAML 구성 파일을 업데이트할 때 Data Prepper의 새 마이너 버전이 지원되는 경우 OpenSearch Ingestion은 파이프라인을 파이프라인 구성에 지정된 메이저 버전의 지원되는 최신 마이너 버전으로 자동 업그레이드합니다. 예를 들어, 파이프라인 version: "2" 구성에서 OpenSearch Ingestion이 처음에 파이프라인을 버전 2.6.0으로 프로비저닝했을 수 있습니다. 버전 2.7.0에 대한 지원이 추가되고 파이프라인 구성을 변경하면 Ingestion은 파이프라인을 버전 2.7.0으로 업그레이드합니다. OpenSearch 이 프로세스를 통해 최신 버그를 수정하고 성능을 개선하여 파이프라인을 최신 상태로 유지할 수 있습니다. OpenSearch 파이프라인 구성 내에서 옵션을 수동으로 변경하지 않는 한 인제션은 파이프라인의 메이저 버전을 업데이트할 수 없습니다. version 자세한 정보는 Amazon 통합 OpenSearch 파이프라인 업데이트을 참조하세요.

파이프라인 크기 조정

파이프라인 용량을 직접 프로비저닝하고 관리할 필요는 없습니다. OpenSearch 인제션은 지정한 최소 및 최대 통합 OpenSearch 컴퓨팅 유닛 (통합 OCU) 을 기반으로 예상 워크로드에 따라 파이프라인 용량을 자동으로 조정합니다.

각 Ingestion OCU는 약 8GiB의 메모리와 2개의 vCPU로 조합됩니다. 파이프라인의 최소 및 최대 OCU 값을 지정할 수 있으며, OpenSearch Ingestion은 이러한 한도를 기반으로 파이프라인 용량을 자동으로 조정합니다.

다음 값을 지정할 수 있습니다.

  • 최소 용량 - 파이프라인은 이 Ingestion OCU 수만큼 용량을 줄일 수 있습니다. 지정된 최소 용량은 파이프라인의 시작 용량이기도 합니다.

  • 최대 용량 - 파이프라인은 이 Ingestion OCU 수만큼 용량을 늘릴 수 있습니다.

파이프라인의 최대 용량이 워크로드의 급증을 처리할 수 있을 만큼 충분히 높고, 최소 용량이 파이프라인의 사용량이 많지 않을 때 비용을 최소화할 수 있을 만큼 낮추세요. 설정에 따라 OpenSearch Ingestion은 파이프라인의 통합 OCU 수를 자동으로 조정하여 수집 워크로드를 처리합니다. 특정 시간에 파이프라인에서 활발하게 사용 중인 Ingestion OCU에 대해서만 비용이 청구됩니다.

통합 파이프라인에 할당된 용량은 파이프라인의 처리 요구 사항 및 클라이언트 애플리케이션에서 생성되는 부하에 따라 확대 및 축소됩니다. OpenSearch 용량이 제한되면 OpenSearch Ingestion은 더 많은 컴퓨팅 유닛 (GiB 메모리) 을 할당하여 규모를 확장합니다. 파이프라인이 더 작은 워크로드를 처리하거나 데이터를 전혀 처리하지 않는 경우에는 구성된 최소 Ingestion OCU로 스케일 다운할 수있습니다.

상태 비저장 파이프라인에는 최소 1개의 Ingestion OCU와 최대 96개의 Ingestion OCU를, 상태 저장 파이프라인에는 최대 48개의 Ingestion OCU를 지정할 수 있습니다. 푸시 기반 소스의 경우 최소 2개 이상의 Ingestion OCU를 사용하는 것이 좋습니다. 영구 버퍼링이 활성화된 경우 최소 2개에서 최대 384개의 Ingestion OCU를 지정할 수 있습니다.

단일 소스, 간단한 Grok 패턴, 싱크가 있는 표준 로그 파이프라인의 경우 각 컴퓨팅 유닛은 초당 최대 2MiB를 지원할 수 있습니다. 프로세서가 여러 개 있는 더 복잡한 로그 파이프라인의 경우 각 컴퓨팅 유닛이 더 적은 수집 부하를 지원할 수 있습니다. 파이프라인 용량과 리소스 사용률을 기반으로 통합 규모 OpenSearch 조정 프로세스가 시작됩니다.

고가용성을 보장하기 위해 Ingestion OCU는 가용 영역(AZ)에 분산됩니다. AZ 수는 지정한 최소 용량에 따라 달라집니다.

예를 들어 최소 2개의 컴퓨팅 유닛을 지정하는 경우 특정 시점에 사용 중인 Ingestion OCU가 2개의 AZ에 균등하게 분배됩니다. 최소 3개 이상의 컴퓨팅 유닛을 지정하는 경우 Ingestion OCU는 3개의 AZ에 균등하게 분배됩니다. 수집 파이프라인의 99.9% 가용성을 보장하려면 최소 2개의 이상의 Ingestion OCU를 프로비저닝하는 것이 좋습니다.

파이프라인이 Create failed, Creating, Deleting, 및 Stopped 상태일 때는 Ingestion OCU에 대한 요금이 청구되지 않습니다.

파이프라인의 용량 설정을 구성하고 검색하는 방법에 대한 지침은 파이프라인 생성을 참조하세요.

OpenSearch 수집 가격 책정

특정 시기에는 파이프라인에 할당된 Ingestion OCU 수에 대해서만 비용을 지불합니다. 단, 파이프라인을 통한 데이터 흐름 여부와 상관없습니다. OpenSearch Ingestion은 사용량에 따라 파이프라인 용량을 늘리거나 줄임으로써 워크로드를 즉시 수용합니다.

전체 요금 세부 정보는 Amazon OpenSearch 서비스 요금을 참조하십시오.

지원됨 AWS 리전

OpenSearch 에서 사용할 수 AWS 리전 있는 OpenSearch 서비스의 하위 집합에서 수집이 가능합니다. 지원되는 지역 목록은 의 Amazon OpenSearch Service 엔드포인트 및 할당량을 참조하십시오. AWS 일반 참조

OpenSearch 수집 할당량

OpenSearch 수집 리소스의 기본 할당량 목록은 Amazon 서비스 할당량을 참조하십시오. OpenSearch