Amazon OpenSearch Service 직접 쿼리 작업

Amazon OpenSearch Service 다이렉트 쿼리를 사용하여 Amazon CloudWatch Logs, Amazon S3 및 Amazon Security Lake의 데이터를 분석할 수 있습니다. OpenSearch 서비스는 수집 파이프라인을 구축하거나 분석 도구 간에 전환하는 마찰을 일으키지 않고 OpenSearch SQL 또는 OpenSearch Piped Processing Language(PPL)를 사용하여 로그 데이터를 분석하는 방법으로 제로ETL 통합을 제공합니다. 이 접근 방식을 사용하면 데이터 이동 또는 복제가 필요하지 않으므로 OpenSearch Discover를 사용하여 데이터가 저장된 위치를 분석할 수 있습니다. 유휴 데이터 쿼리에서 대시보드 또는 알림으로 적극적으로 모니터링으로 전환하려는 경우 데이터에 대한 인덱싱된 뷰를 빌드하고 OpenSearch 이를 서비스 인덱스로 수집할 수 있습니다.

시작하려면 OpenSearch 서비스 콘솔에서 데이터 소스를 구성합니다. Amazon S3의 경우 도메인의 연결을 사용하고, CloudWatch Logs and Security Lake의 경우 콘솔의 Central Management에서 연결된 데이터 소스를 사용합니다. Amazon S3와 Security Lake는 모두의 테이블 AWS Glue Data Catalog 을 사용하여 스키마, 파일 유형 및 파티셔닝을 포함한 데이터 구조를 나타냅니다. Amazon S3의 경우 CREATE TABLE SQL 문을 사용하여 OpenSearch Query Workbench 내에서 이러한 테이블을 생성합니다. Amazon Security Lake의 경우의 테이블 AWS Glue 은 Security Lake 설정 프로세스 중에 이미 설정되어 있습니다. CloudWatch 로그에도 마찬가지로 미리 구성된 로그 그룹이 있습니다.

데이터 소스를 설정한 후 Discover에 로그인하면 데이터 소스를 선택하고 관련 테이블(Amazon S3 및 Security Lake의 경우) 또는 로그 그룹( CloudWatch 로그의 경우)을 선택할 수 있습니다. 여기에서 직접 데이터 쿼리를 시작할 수 있습니다.

대시보드 구축 및 전체 텍스트 검색과 같은 데이터 모니터링에 OpenSearch Service의 고급 분석 기능을 사용하려면 데이터에 대한 인덱싱된 보기를 생성하여 직접 쿼리 데이터 소스에서 데이터를 수집합니다. 인덱스 건너뛰기, 구체화된 뷰, 커버링 인덱스(지원되는 경우)와 같은 일반적인 SQL인덱싱 기법을 사용하여 인덱싱된 뷰를 생성할 수 있습니다. 대시보드를 빠르게 구축하기 위해 VPC 흐름 로그, 로그 AWS CloudTrail 및 AWS WAF 로그와 같은 일반적인 로그 유형에 사전 구축된 템플릿을 사용할 수 있습니다.

직접 쿼리 할당량

계정에는 OpenSearch 서비스 직접 쿼리와 관련된 다음과 같은 할당량이 있습니다.

Amazon S3 할당량

Amazon S3 데이터 소스에 대한 쿼리를 시작할 때마다 OpenSearch Service는 세션을 열고 최소 3분 동안 세션을 유지합니다. 이렇게 하면 후속 쿼리에서 세션 시작 시간을 제거하여 쿼리 지연 시간을 줄일 수 있습니다.

설명	Maximum	재정의 가능
도메인당 연결 수	10	예
도메인당 데이터 소스 수	20	예
도메인당 인덱스 수	5	예
데이터 소스별 동시 세션 수	10	예
쿼리OCU당 최대 수	60	예
최대 쿼리 실행 시간(분)	30	예
가속OCUs당 최대 수	20	예
최대 임시 스토리지	20	예

CloudWatch 로그 할당량

참고

CloudWatch Logs Insights를 사용하여 직접 쿼리를 수행하려는 경우를 참조해야 합니다를 사용하는 CloudWatch Logs Insights 사용자에 대한 추가 정보 OpenSearch SQL.

설명	값	소프트 제한?	참고
직접 쿼리 전반의 계정 수준 TPS 제한 APIs	3 TPS	예
최대 데이터 소스 수	20	예	한도는에 따라 다릅니다 AWS 계정.
최대 자동 새로 고침 인덱스 또는 구체화된 뷰	30	예	제한은 데이터 소스당입니다.
최대 동시 쿼리 수	15	예	한도는 보류 중이거나 실행 중인 상태의 쿼리에 적용됩니다. 대화형 쿼리(예:와 같은 데이터 검색 명령SELECT) 및 인덱스 쿼리(예: CREATE/ALTER/와 같은 작업)를 포함합니다DROP.
쿼리OCU당 최대 동시 수	512	예	OpenSearch 컴퓨팅 단위(OCU). 각각 16vCPU 및 32GB 메모리가 있는 15개의 실행기와 1개의 드라이버를 기준으로 제한합니다. 동시 처리 능력을 나타냅니다.
분 단위의 최대 쿼리 실행 시간	60	No	제한은 CloudWatch Logs Insights의 OpenSearch PPL/SQL 쿼리에 적용됩니다.
오래된 쿼리 제거 기간 IDs	90일	예	이는 OpenSearch Service가 이전 항목에 대한 쿼리 메타데이터를 제거하는 기간입니다. 예를 들어 90일 이상 지난 쿼리에 대해 GetDirectQuery 또는를 호출하지 GetDirectQueryResult 못하는 경우가 있습니다.

Security Lake 할당량

설명	값	소프트 제한?	참고
직접 쿼리 전반의 계정 수준 TPS 제한 APIs	3 TPS	예
최대 데이터 소스 수	20	예	한도는에 따라 다릅니다 AWS 계정.
최대 자동 새로 고침 인덱스 또는 구체화된 뷰	30	예	데이터 소스당 한도가 적용됩니다. 자동 새로 고침이 true로 설정된 인덱스 및 구체화된 뷰(MVs)만 포함합니다.
최대 동시 쿼리 수	30	예	한도는 보류 중이거나 실행 중인 상태의 쿼리에 적용됩니다. 대화형 쿼리(예:와 같은 데이터 검색 명령SELECT) 및 인덱스 쿼리(예: CREATE/ALTER/와 같은 작업)를 포함합니다DROP.
쿼리OCU당 최대 동시 수	512	예	OpenSearch 컴퓨팅 단위(OCU). 각각 16vCPU 및 32GB 메모리가 있는 15개의 실행기와 1개의 드라이버를 기준으로 제한합니다. 동시 처리 능력을 나타냅니다.
분 단위의 최대 쿼리 실행 시간	30	No	대화형 쿼리(예:와 같은 데이터 검색 명령)에만 적용됩니다SELECT. REFRESH 쿼리의 경우 제한은 6시간입니다.
오래된 쿼리 제거 기간 IDs	90일	예	이는 OpenSearch Service가 이전 항목에 대한 쿼리 메타데이터를 제거하는 기간입니다. 예를 들어 90일 이상 지난 쿼리에 대해 또는를 호출 GetDirectQuery하지 GetDirectQueryResult 못합니다.

지원됨 AWS 리전

Amazon S3, CloudWatch Logs 및 Security Lake의 OpenSearch 서비스 직접 쿼리에 대해 다음이 지원 AWS 리전 됩니다.

Amazon S3 AWS 리전 에서 사용 가능

• 아시아 태평양(홍콩)

• 아시아 태평양(뭄바이)

• 아시아 태평양(서울)

• 아시아 태평양(싱가포르)

• 아시아 태평양(시드니)

• 아시아 태평양(도쿄)

• 캐나다(중부)

• 유럽(프랑크푸르트)

• 유럽(아일랜드)

• 유럽(스톡홀름)

• 미국 동부(버지니아 북부)

• 미국 동부(오하이오)

• 미국 서부(오리건)

CloudWatch 로그에 사용 가능 AWS 리전

• 아시아 태평양(뭄바이)

• 아시아 태평양(싱가포르)

• 아시아 태평양(시드니)

• 아시아 태평양(도쿄)

• 캐나다(중부)

• 유럽(프랑크푸르트)

• 유럽(아일랜드)

• 미국 동부(버지니아 북부)

• 미국 동부(오하이오)

• 미국 서부(오리건)

• 유럽(파리)

• 유럽(런던)

• 남아메리카(상파울루)

Security Lake에 사용 가능 AWS 리전

• 아시아 태평양(뭄바이)

• 아시아 태평양(싱가포르)

• 아시아 태평양(시드니)

• 아시아 태평양(도쿄)

• 캐나다(중부)

• 유럽(프랑크푸르트)

• 유럽(아일랜드)

• 미국 동부(버지니아 북부)

• 미국 동부(오하이오)

• 미국 서부(오리건)

• 유럽(파리)

• 유럽(런던)

• 남아메리카(상파울루)