Amazon OpenSearch Service로 CloudWatch Logs 데이터 스트리밍 - Amazon CloudWatch Logs
사전 조건OpenSearch Service에 대한 로그 그룹 구독

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

Amazon OpenSearch Service로 CloudWatch Logs 데이터 스트리밍

Amazon CloudWatch Logs에서 로그 그룹을 구성하여 데이터를 Amazon OpenSearch Service 클러스터로 거의 실시간으로 스트리밍할 수 있습니다. 자세한 내용은 구독을 통한 로그 데이터 실시간 처리 단원을 참조하십시오.

참고

OpenSearch Service로의 스트리밍은 Standard 로그 클래스의 로그 그룹에서만 지원됩니다. 로그 클래스에 대한 자세한 내용은 로그 클래스를 참조하세요.

스트리밍되는 로그 데이터의 양에 따라 함수 수준 동시성 제한을 설정하는 것이 좋습니다. 자세한 내용은 Lambda 함수 크기 조정을 참조하세요.

참고

많은 양의 CloudWatch Logs 데이터를 OpenSearch Service로 스트리밍하면 사용량 요금이 많아질 수 있으므로 AWS Billing and Cost Management 콘솔에서 예산을 생성하는 것이 좋습니다. 자세한 내용은 AWS Budgets을 통해 비용 관리를 참조하세요.

이 섹션에서는 로그 그룹의 OpenSearch Service 구독 전에 완료해야 하는 사전 조건을 설명합니다. 로그 그룹의 OpenSearch Service 구독 방법도 설명합니다.

사전 조건

시작에 앞서 OpenSearch Service 도메인을 생성합니다. 도메인은 퍼블릭 액세스 또는 VPC 액세스 중 하나를 가질 수 있지만 도메인을 생성한 후에는 액세스 유형을 수정할 수 없습니다. 나중에 OpenSearch Service 도메인 설정을 검토하고 클러스터가 처리할 데이터 양에 따라 클러스터 구성을 수정하고 싶을 수 있습니다. 도메인을 생성하기 위한 지침은 OpenSearch Service 도메인 생성을 참조하세요.

OpenSearch Service에 대한 자세한 정보는 Amazon OpenSearch Service 개발자 안내서를 참조하세요.

OpenSearch Service에 대한 로그 그룹 구독

CloudWatch 콘솔을 사용하여 OpenSearch Service에 대한 로그 그룹을 구독할 수 있습니다.

OpenSearch Service에 대한 로그 그룹을 구독하려면

  1. https://console.aws.amazon.com/cloudwatch/에서 CloudWatch 콘솔을 엽니다.

  2. 탐색 창에서 로그 그룹을 선택합니다.

  3. 로그 그룹의 이름을 선택합니다.

  4. Actions(작업), Subscription filters(구독 필터), Create Amazon OpenSearch Service subscription filter(Amazon OpenSearch 서비스 구독 필터 생성)를 선택합니다.

  5. 이 계정의 클러스터로 스트리밍할지 아니면 다른 계정의 클러스터로 스트리밍할지 선택합니다.

    • 이 계정을 선택한 경우 이전 단계에서 생성한 도메인을 선택합니다.

    • 다른 계정을 선택한 경우 도메인 ARN 및 엔드포인트를 제공합니다.

  6. Lambda IAM 실행 역할(Lambda IAM Execution Role)에서 OpenSearch에 대한 호출을 실행할 때 Lambda에서 사용해야 하는 IAM 역할을 선택합니다.

    선택한 IAM 역할은 다음 요구 사항을 충족해야 합니다.

    • 신뢰 관계를 맺고 있는 lambda.amazonaws.com이 있어야 합니다.

    • 다음 정책이 포함되어야 합니다.

      {
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": [
                "es:*"
            ],
            "Effect": "Allow",
            "Resource": "arn:aws:es:region:account-id:domain/target-domain-name/*"
        }
    ]
}

    • 대상 OpenSearch Service 도메인에서 VPC 액세스를 사용하는 경우 역할에 AWSLambdaVPCAccessExecutionRole 정책이 연결되어 있어야 합니다. Amazon에서 관리하는 이 정책은 고객의 VPC에 Lambda 액세스 권한을 부여하여 Lambda가 VPC의 OpenSearch 엔드포인트에 기록할 수 있게 합니다.

  7. 로그 형식(Log format)에서 로그 형식을 선택합니다.

  8. 구독 필터 패턴(Subscription filter pattern)에 로그 이벤트에서 찾을 용어나 패턴을 입력합니다. 이렇게 하면 OpenSearch 클러스터로 원하는 데이터만 전송할 수 있습니다. 자세한 내용은 필터를 사용하여 로그 이벤트에서 지표 생성 단원을 참조하십시오.

  9. (선택 사항) 테스트할 로그 데이터 선택에서 로그 스트림을 선택한 다음 패턴 테스트를 선택해서 검색 필터가 예상한 결과를 반환하고 있는지 확인합니다.

  10. 스트리밍 시작을 선택합니다.