마이크로소프트 윈도우용 Amazon Kinesis 에이전트 개념

Microsoft Windows용 Amazon Kinesis 에이전트 (Windows용 Kinesis 에이전트) 의 주요 개념을 이해하면 데스크톱 및 서버 함대의 데이터를 데이터 파이프라인의 나머지 부분까지 더 쉽게 수집하고 스트리밍할 수 있습니다.

이 데이터 파이프라인 다이어그램은 다음 구성 요소 및 프로세스를 보여 줍니다.

서버 및 데스크톱에는 하나 이상의 Windows용 Kinesis 에이전트에서 수집한 로그 파일, 이벤트 및 메트릭과 같은 아티팩트가 있습니다.sources. 데이터를 선택적으로 플랫 파일 텍스트 형식에서 객체로 변환할 수 있습니다.

그러면 객체 또는 텍스트 형식으로 데이터가 하나 이상의 Windows용 Kinesis 에이전트로 흐를 수 있습니다.파이프. 파이프는 하나의 소스를 하나의 Windows용 Kinesis 에이전트에 연결합니다.sink. 파이프는 선택적으로 불필요한 데이터를 필터링할 수 있습니다.

싱크는 선택적으로 JSON 또는 XML로 객체로 구문 분석 된 데이터를 변환 할 수 있습니다. 싱크는 Kinesis 데이터 스트림, Kinesis 데이터 파이어호스 또는 Amazon CloudWatch 와 같은 특정 AWS 서비스로 데이터를 전송합니다.

여러 파이프를 사용하면 단일 소스에서 동일한 데이터를 여러 싱크에 보낼 수 있습니다 (예: 파이프F및G다이어그램에서). 여러 파이프를 사용하면 여러 소스에서 데이터를 단일 싱크로 스트리밍할 수 있습니다 (예: 파이프A,B, 및C다이어그램에서). 여러 개의 파이프를 사용하여 여러 싱크에서 여러 소스로 데이터를 스트리밍할 수도 있습니다. 소스, 싱크 및 파이프에는 유형이 있으며 동일한 유형의 소스, 싱크 또는 파이프가 둘 이상 있을 수 있습니다.

원본, 싱크 및 파이프를 선언하는 구성 파일의 예는Windows용 Kinesis 에이전트 구성 예.

Data Pipeline

A데이터 파이프라인는 응용 프로그램 및 서비스에 대한 경보를 수집, 처리, 시각화 및 생성하는 데 사용됩니다. Windows용 Kinesis 에이전트는 데스크톱 컴퓨터 또는 서버에서 로그, 이벤트 및 메트릭이 수집되는 시작 시 데이터 파이프라인에 적합합니다. Windows용 Kinesis 에이전트는 수집된 데이터를 나머지 데이터 파이프라인을 구성하는 다양한 AWS 서비스로 스트리밍합니다. 데이터 파이프라인은 엔지니어가 해당 서비스를 보다 효과적으로 운영할 수 있도록 특정 서비스의 상태를 실시간으로 시각화하는 등의 목적을 가지고 있습니다. 서비스 상태 데이터 파이프라인은 다음 중 무엇이든 수행할 수 있습니다.

• 이러한 문제가 서비스 고객의 경험에 영향을 미치기 전에 엔지니어에게 문제를 알립니다.

• 리소스 사용 추세를 표시하여 엔지니어가 서비스 비용을 효율적으로 관리할 수 있도록 지원합니다. 이러한 추세를 통해 리소스 수준을 적절하게 조정하거나 자동 조정 시나리오를 구현할 수도 있습니다.

• 서비스 고객이 보고한 문제의 근본 원인에 대한 통찰력을 제공합니다. 이렇게 하면 이러한 문제의 해결 속도가 빨라지고 지원 비용이 절감됩니다.

Windows용 Kinesis 에이전트를 사용하여 데이터 파이프라인을 만드는 단계별 예제는 를 참조합니다.자습서: 윈도우용 Kinesis 에이전트를 사용하여 JSON 로그 파일을 Amazon S3 로 스트리밍.

Sources

윈도우용 Kinesis 에이전트source는 로그, 이벤트 또는 메트릭을 수집합니다. 소스는 소스 유형에 따라 해당 데이터의 특정 생산자로부터 특정 종류의 데이터를 수집합니다. 예를 들어,DirectorySource유형은 파일 시스템의 특정 디렉토리에서 로그 파일을 수집합니다. 데이터가 아직 구조화되지 않은 경우 (일부 종류의 로그 파일과 마찬가지로) 소스는 텍스트 표현을 구조화 된 형식으로 구문 분석하는 데 유용 할 수 있습니다. 각 소스는 특정소스 선언윈도우용 Kinesis 에이전트에서appsettings.json파일 소스 선언은 특정 데이터 수집 요구 사항에 따라 소스를 맞춤화하기 위해 소스를 구성하는 데 필요한 필수 세부 정보를 제공합니다. 구성할 수 있는 세부 정보의 종류는 소스 유형에 따라 다릅니다. 예를 들어,DirectorySource소스 유형에는 로그 파일이 상주하는 디렉토리의 지정이 필요합니다.

소스 유형 및 소스 선언에 대한 자세한 내용은소스 선언.

Sinks

윈도우용 Kinesis 에이전트sink는 Kinesis for Windows용 에이전트 소스에서 수집한 데이터를 가져와 나머지 데이터 파이프라인을 구성하는 여러 가능한 AWS 서비스 중 하나로 해당 데이터를 스트리밍합니다. 각 싱크는 특정싱크 선언윈도우용 Kinesis 에이전트에서appsettings.json파일 싱크 선언은 특정 데이터 스트리밍 요구 사항에 따라 싱크를 맞추기 위해 싱크를 구성하기위한 필수 세부 사항을 제공합니다. 구성 할 수있는 세부 사항의 종류는 싱크 유형에 따라 다릅니다. 예를 들어, 일부 싱크 유형은 싱크 선언이 특정 직렬화를 지정할 수 있도록Format그들에게 제공된 데이터에 대한. 싱크 선언에서 이 옵션을 지정하면 데이터를 싱크와 연결된 AWS 서비스로 스트리밍하기 전에 수집된 데이터의 직렬화가 수행됩니다.

싱크 유형 및 싱크 선언에 대한 자세한 내용은sink 선언.

Pipes

윈도우용 Kinesis 에이전트파이프는 Windows용 Kinesis 에이전트 소스의 출력을 Windows용 Kinesis 에이전트 싱크의 입력에 연결합니다. 선택적으로 파이프를 통해 흐를 때 데이터를 변환합니다. 각 파이프는 Windows용 Kinesis 에이전트의 특정 파이프 선언에 해당합니다.appsettings.json파일 파이프 선언은 파이프의 소스 및 싱크와 같은 싱크 구성을 위한 필수 세부 정보를 제공합니다.

파이프 유형 및 파이프 선언에 대한 자세한 내용은파이프 선언.