소스 선언 - Microsoft Windows용 Amazon Kinesis 에이전트
디렉토리소스 구성Exchange 로그소스 구성W3SV클로그소스 구성UlsSource 구성창 세븐로그소스 구성창 세븐로그폴링소스 구성창 집합소스 구성창기능카운터 소스 구성Windows용 Kinesis 에이전트 기본 제공 메트릭 소스Windows용 Kinesis 에이전트 메트릭 목록책갈피 구성

기계 번역으로 제공되는 번역입니다. 제공된 번역과 원본 영어의 내용이 상충하는 경우에는 영어 버전이 우선합니다.

소스 선언

마이크로소프트 윈도우용 Amazon Kinesis 에이전트에서소스 선언에는 로그, 이벤트 및 메트릭 데이터가 수집되어야 하는 위치와 정보가 나와 있습니다. 또한 선택적으로 변환 할 수 있도록 해당 데이터를 구문 분석하기위한 정보를 지정합니다. 다음 섹션에서는 Windows용 Kinesis 에이전트에서 사용할 수 있는 기본 제공 소스 유형의 구성에 대해 설명합니다. Windows용 Kinesis 에이전트는 확장할 수 있으므로 사용자 정의 소스 유형을 추가할 수 있습니다. 각 소스 유형에는 일반적으로 해당 소스 유형과 관련된 구성 객체에 특정 키 - 값 쌍이 필요합니다.

모든 소스 선언에는 최소한 다음 키-값 페어가 포함되어야 합니다.

Id

구성 파일에서 특정 소스 객체를 식별하는 고유한 문자열입니다.

SourceType

이 소스 객체의 소스 유형 이름입니다. 소스 유형은 이 소스 개체에 의해 수집 중인 로그, 이벤트 또는 메트릭 데이터의 출처를 지정합니다. 또한 소스의 다른 측면을 선언 할 수있는 제어합니다.

다양한 종류의 소스 선언을 사용하는 전체 구성 파일의 예는다양한 소스에서 Kinesis Data Streams 으로 스트리밍.

디렉토리소스 구성

Overview

이DirectorySource소스 유형은 지정된 디렉토리에 저장된 파일에서 로그를 수집합니다. 로그 파일은 여러 가지 형식으로 제공되므로DirectorySource선언을 사용하면 로그 파일의 데이터 형식을 지정할 수 있습니다. 그런 다음 다양한 AWS 서비스로 스트리밍하기 전에 로그 내용을 JSON 또는 XML과 같은 표준 형식으로 변환할 수 있습니다.

다음은 예제입니다.DirectorySource선언:

{
	   "Id": "myLog",
	   "SourceType": "DirectorySource",
	   "Directory": "C:\\Program Data\\MyCompany\\MyService\\logs",
	   "FileNameFilter": "*.log",
	   "IncludeSubdirectories": true,
	   "IncludeDirectoryFilter": "cpu\\cpu-1;cpu\\cpu-2;load;memory",
	   "RecordParser": "Timestamp",
	   "TimestampFormat": "yyyy-MM-dd HH:mm:ss.ffff",
	   "Pattern": "\\d{4}-\\d{2}-\\d(2}",
	   "ExtractionPattern": "",
	   "TimeZoneKind": "UTC",
	   "SkipLines": 0,
	   "Encoding": "utf-16",
	   "ExtractionRegexOptions": "Multiline"
}

모두DirectorySource선언은 다음 키-값 페어를 제공할 수 있습니다.

SourceType

리터럴 문자열이어야 합니다."DirectorySource"(필수).

Directory

로그 파일이 들어 있는 디렉토리의 경로입니다 (필수 사항).

FileNameFilter

선택적으로 와일드카드 파일 이름 지정 패턴에 따라 로그 데이터가 수집되는 디렉터리의 파일 집합을 제한합니다. 로그 파일 이름 패턴이 여러 개 있는 경우 이 기능을 사용하면 단일DirectorySource다음 예제에 표시된 대로 을 클릭합니다.

FileNameFilter: "*.log|*.txt"

시스템 관리자는 로그 파일을 보관하기 전에 압축하는 경우가 있습니다. 를 지정하는 경우"*.*"inFileNameFilter로 설정하면 알려진 압축 파일이 이제 제외됩니다. 이 기능은.zip,.gz, 및.bz2파일이 실수로 스트리밍되는 것을 방지할 수 있습니다. 이 키-값 쌍을 지정하지 않으면 디렉토리에 있는 모든 파일의 데이터가 기본적으로 수집됩니다.

IncludeSubdirectories

운영 체제에 의해 제한되는 임의의 깊이로 하위 디렉토리를 모니터링하도록 지정합니다. 이 기능은 여러 웹 사이트가 있는 웹 서버를 모니터링하는 데 유용합니다. 뿐만 아니라IncludeDirectoryFilter특성을 사용하여 필터에 지정된 특정 하위 디렉토리만 모니터링합니다.

RecordParser

방법을 지정합니다DirectorySource소스 유형은 지정된 디렉토리에있는 로그 파일을 구문 분석해야합니다. 이 키 - 값 쌍이 필요하며 유효한 값은 다음과 같습니다.

  • SingleLine— 로그 파일의 각 행은 로그 레코드입니다.

  • SingleLineJson— 로그 파일의 각 행은 JSON 형식의 로그 레코드입니다. 이 파서는 객체 장식을 사용하여 JSON에 추가 키 - 값 쌍을 추가 할 때 유용합니다. 자세한 내용은 싱크 장식 구성 섹션을 참조하세요. 예를 들어,SingleLineJson레코드 파서에 대한 자세한 내용은자습서: 윈도우용 Kinesis 에이전트를 사용하여 JSON 로그 파일을 Amazon S3 로 스트리밍.

  • Timestamp- 하나 이상의 줄에 로그 레코드가 포함될 수 있습니다. 로그 레코드는 타임스탬프로 시작합니다. 이 옵션을 사용하려면TimestampFormat키-값 페어를 선택합니다.

  • Regex— 각 레코드는 특정 정규 표현식과 일치하는 텍스트로 시작합니다. 이 옵션을 사용하려면Pattern키-값 페어를 선택합니다.

  • SysLog— 로그 파일이syslog표준 형식입니다. 로그 파일은 해당 사양에 따라 레코드로 구문 분석됩니다.

  • Delimited— 로그 레코드의 데이터 항목이 일관된 구분 기호로 구분되는 Regex 레코드 파서의 간단한 버전입니다. 이 옵션은 사용하기 쉽고 정규식 파서보다 빠르게 실행되며이 옵션을 사용할 수있는 경우 선호됩니다. 이 옵션을 사용하는 경우Delimiter키-값 페어를 선택합니다.

TimestampField

레코드에 대한 타임스탬프를 포함하는 JSON 필드를 지정합니다. 이는 단지SingleLineJson RecordParser. 이 키-값 페어는 선택 사항입니다. 지정되지 않은 경우 Windows용 Kinesis 에이전트는 타임스탬프에 대해 레코드를 읽은 시간을 사용합니다. 이 키-값 쌍을 지정할 때의 한 가지 이점은 Windows용 Kinesis 에이전트에서 생성된 지연 시간 통계가 보다 정확하다는 것입니다.

TimestampFormat

레코드와 연관된 날짜 및 시간을 구문 분석하는 방법을 지정합니다. 문자열 중 하나입니다.epoch또는.NET 날짜/시간 형식 문자열을 사용하십시오. 값이epoch, 시간은 UNIX 에포크 시간을 기반으로 구문 분석됩니다. UNIX Epoch 시간에 대한 자세한 내용은 단원을 참조하십시오.Unix 시간. .NET 날짜/시간 형식 문자열에 대한 자세한 내용은사용자 정의 날짜 및 시간 형식 문자열를 참조하십시오). 이 키 - 값 쌍은 경우에만 필요합니다Timestamp레코드 파서가 지정되거나SingleLineJson레코드 파서와 함께 지정TimestampField키-값 페어를 선택합니다.

Pattern

잠재적으로 여러 줄 레코드의 첫 번째 줄과 일치해야 하는 정규 표현식을 지정합니다. 이 키 - 값 쌍은Regex레코드 구문 분석기.

ExtractionPattern

명명된 그룹을 사용해야 하는 정규 표현식을 지정합니다. 레코드는이 정규 표현식을 사용하여 구문 분석하고 명명 된 그룹은 구문 분석 된 레코드의 필드를 형성한다. 그런 다음 이러한 필드는 JSON 또는 XML 객체 또는 문서를 구성하기 위한 기반으로 사용되며, 이 객체는 싱크로 다양한 AWS 서비스로 스트리밍됩니다. 이 키 - 값 쌍은 선택 사항이며Regex레코드 파서 및 타임 스탬프 파서를 사용할 수 있습니다.

이Timestamp그룹 이름은 특별히 처리되며Regex각 로그 파일의 각 레코드에 대한 날짜 및 시간을 포함하는 파서.

Delimiter

각 로그 기록의 각 항목을 구분하는 문자 또는 문자열을 지정합니다. 이 키 - 값 쌍은Delimited레코드 구문 분석기. 두 문자 시퀀스 사용\t를 사용하여 탭 문자를 나타냅니다.

HeaderPattern

레코드에 대한 헤더 집합을 포함하는 로그 파일의 행을 일치시키기 위한 정규 표현식을 지정합니다. 로그 파일에 헤더 정보가 포함되어 있지 않으면Headers키-값 페어를 사용하여 암시 적 헤더를 지정합니다. 이HeaderPattern키 - 값 쌍은 선택 사항이며Delimited레코드 구문 분석기.

참고

열에 대한 빈 (0 길이) 머리글 항목을 해당 열의 데이터를 최종 출력에서 필터링할 수 있는DirectorySource출력을 구문 분석합니다.

Headers

지정된 구분 기호를 사용하여 구문 분석된 데이터 열의 이름을 지정합니다. 이 키 - 값 쌍은 선택 사항이며Delimited레코드 구문 분석기.

참고

열에 대한 빈 (0 길이) 머리글 항목을 해당 열의 데이터를 최종 출력에서 필터링할 수 있는DirectorySource출력을 구문 분석합니다.

RecordPattern

로그 파일에서 레코드 데이터가 포함된 행을 식별하는 정규 표현식을 지정합니다. 에 의해 식별되는 선택적 헤더 라인 이외의HeaderPattern, 지정된 값과 일치하지 않는 행RecordPattern는 레코드 처리 중에 무시됩니다. 이 키 - 값 쌍은 선택 사항이며Delimited레코드 구문 분석기. 이 옵션이 제공되지 않으면 기본값은 선택적HeaderPattern또는 선택 사항CommentPattern를 구문 분석 가능한 레코드 데이터가 포함 된 행으로 설정하십시오.

CommentPattern

로그 파일의 데이터를 구문 분석하기 전에 제외해야 하는 로그 파일의 행을 식별하는 정규식을 지정합니다. 이 키 - 값 쌍은 선택 사항이며Delimited레코드 구문 분석기. 이 옵션이 제공되지 않으면 기본값은 선택적HeaderPattern를 구문 분석 가능한 레코드 데이터가 포함 된 행으로 설정하십시오.RecordPattern가 지정됩니다.

TimeZoneKind

로그 파일의 타임스탬프를 현지 표준 시간대 또는 UTC 표준 시간대에서 고려할지 여부를 지정합니다. 선택 사항으로, 기본값은 UTC입니다. 이 키 - 값 쌍에 대한 유일한 유효한 값은Local또는UTC. 다음과 같은 경우 타임 스탬프가 변경되지 않습니다.TimeZoneKind가 지정되지 않았거나 값이 UTC인 경우 타임 스탬프는 UTC로 변환 될 때TimeZoneKind값은Local이고 타임 스탬프를받는 싱크가 CloudWatch Logs 이거나 구문 분석 된 레코드가 다른 싱크로 전송됩니다. 메시지에 포함된 날짜와 시간은 변환되지 않습니다.

SkipLines

지정된 경우 레코드 구문 분석이 수행되기 전에 각 로그 파일의 시작 부분에서 무시되는 줄 수를 제어합니다. 선택 사항으로, 기본값은 0입니다.

인코딩

기본적으로 Windows용 Kinesis 에이전트는 바이트마크에서 인코딩을 자동으로 감지할 수 있습니다. 그러나 일부 이전 유니코드 형식에서는 자동 인코딩이 제대로 작동하지 않을 수 있습니다. 다음 예제에서는 Microsoft SQL Server 로그를 스트리밍하는 데 필요한 인코딩을 지정합니다.

"Encoding": "utf-16"

인코딩 이름 목록은 단원을 참조하십시오.인코딩 목록Microsoft .NET 설명서에 나와 있습니다.

추출정규 표현식 옵션

다음을 수행할 수 있습니다.ExtractionRegexOptions정규 표현식을 단순화할 수 있습니다. 이 키-값 페어는 선택 사항입니다. 기본값은 "None"입니다.

다음 예제에서는 지정 된"."식을 포함한 모든 문자와 일치\r\n.

"ExtractionRegexOptions" = "Multiline"

추출정규 표현식 옵션에 사용할 수 있는 필드 목록은열거형 정규식 옵션Microsoft .NET 설명서에 나와 있습니다.

Regex레코드 구문 분석기

구조화되지 않은 텍스트 로그를 구문 분석할 수 있는Regex레코드 파서와 함께TimestampFormat,Pattern, 및ExtractionPattern키-값 페어를 입력합니다. 예를 들면 로그 파일이 다음과 같다고 가정합니다.


[FATAL][2017/05/03 21:31:00.534][0x00003ca8][0000059c][][ActivationSubSystem][GetActivationForSystemID][0] 'ActivationException.File: EQCASLicensingSubSystem.cpp'
[FATAL][2017/05/03 21:31:00.535][0x00003ca8][0000059c][][ActivationSubSystem][GetActivationForSystemID][0] 'ActivationException.Line: 3999'

당신은에 대한 다음 정규 표현식을 지정할 수 있습니다Pattern키 - 값 쌍을 사용하여 로그 파일을 개별 로그 레코드로 나눌 수 있습니다.


^\[\w+\]\[(?<TimeStamp>\d{4}/\d{2}/\d{2} \d{2}:\d{2}:\d{2}\.\d{3})\]

이 정규 표현식은 다음 순서와 일치합니다.

  1. 평가되는 문자열의 시작입니다.

  2. 대괄호로 둘러싸인 하나 이상의 단어 문자

  3. 대괄호로 둘러싸인 타임스탬프입니다. 타임스탬프는 다음 시퀀스와 일치합니다.

    1. 4자리 연도입니다.

    2. 슬래시

    3. 2자리 월입니다.

    4. 슬래시

    5. 2자리 날짜입니다.

    6. 공백 문자

    7. 2자리 시입니다.

    8. 콜론

    9. 2자리 분입니다.

    10. 콜론

    11. 2자리

    12. A 기간

    13. 세 자리 밀리초

다음 형식을 지정할 수 있습니다.TimestampFormat키 - 값 쌍을 사용하여 텍스트 타임 스탬프를 날짜와 시간으로 변환 할 수 있습니다.

yyyy/MM/dd HH:mm:ss.fff

당신은을 통해 로그 레코드의 필드를 추출하기 위해 다음과 같은 정규 표현식을 사용할 수 있습니다ExtractionPattern키-값 페어를 입력합니다.

^\[(?<Severity>\w+)\]\[(?<TimeStamp>\d{4}/\d{2}/\d{2} \d{2}:\d{2}:\d{2}\.\d{3})\]\[[^]]*\]\[[^]]*\]\[[^]]*\]\[(?<SubSystem>\w+)\]\[(?<Module>\w+)\]\[[^]]*\] '(?<Message>.*)'$

이 정규 표현식은 다음 그룹과 순서대로 일치합니다.

  1. Severity— 대괄호로 둘러싸인 하나 이상의 단어 문자입니다.

  2. TimeStamp— 타임스탬프에 대한 이전 설명을 참조하십시오.

  3. 0개 이상의 문자 시퀀스를 명명되지 않은 대괄호로 묶인 3개를 건너뜁니다.

  4. SubSystem— 대괄호로 둘러싸인 하나 이상의 단어 문자입니다.

  5. Module— 대괄호로 둘러싸인 하나 이상의 단어 문자입니다.

  6. 0개 이상의 문자 시퀀스를 명명되지 않은 대괄호로 묶인 시퀀스를 건너뜁니다.

  7. 이름이 지정되지 않은 공간 하나를 건너뜁니다.

  8. Message— 작은따옴표로 둘러싸인 0개 이상의 문자입니다.

다음 소스 선언은 이러한 정규 표현식과 날짜 시간 형식을 결합하여 이러한 종류의 로그 파일을 구문 분석하는 데 필요한 전체 지침을 Kinesis Agent에 제공합니다.

{
    "Id": "PrintLog",
    "SourceType": "DirectorySource",
    "Directory": "C:\\temp\\PrintLogTest",
    "FileNameFilter": "*.log",
    "RecordParser": "Regex",
    "TimestampFormat": "yyyy/MM/dd HH:mm:ss.fff",
    "Pattern": "^\\[\\w+\\]\\[(?<TimeStamp>\\d{4}/\\d{2}/\\d{2} \\d{2}:\\d{2}:\\d{2}\\.\\d{3})\\]",
    "ExtractionPattern": "^\\[(?<Severity>\\w+)\\]\\[(?<TimeStamp>\\d{4}/\\d{2}/\\d{2} \\d{2}:\\d{2}:\\d{2}\\.\\d{3})\\]\\[[^]]*\\]\\[[^]]*\\]\\[[^]]*\\]\\[(?<SubSystem>\\w+)\\]\\[(?<Module>\\w+)\\]\\[[^]]*\\] '(?<Message>.*)'$",
    "TimeZoneKind": "UTC"
}
참고

JSON 형식 파일의 백 슬래시는 추가 백 슬래시를 사용하여 이스케이프해야합니다.

정규식에 대한 자세한 내용은 단원을 참조하십시오.정규 표현식 언어 - 빠른 참조에서 Microsoft .NET 설명서를 참조하십시오.

Delimited레코드 구문 분석기

다음을 수행할 수 있습니다.Delimited레코드 파서를 사용하여 각 데이터 행의 각 데이터 열을 분리하는 일관된 문자 시퀀스가있는 반구조화 된 로그 및 데이터 파일을 구문 분석합니다. 예를 들어 CSV 파일은 쉼표를 사용하여 각 데이터 열을 구분하고 TSV 파일은 탭을 사용합니다.

Microsoft를 구문 분석하려는 경우NPS 데이터베이스 형식네트워크 정책 서버에 의해 생성 된 로그 파일. 이러한 파일은 다음과 같습니다.

"NPS-MASTER","IAS",03/22/2018,23:07:55,1,"user1","Domain1\user1",,,,,,,,0,"192.168.86.137","Nate - Test 1",,,,,,,1,,0,"311 1 192.168.0.213 03/15/2018 08:14:29 1",,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,"Use Windows authentication for all users",1,,,,
"NPS-MASTER","IAS",03/22/2018,23:07:55,3,,"Domain1\user1",,,,,,,,0,"192.168.86.137","Nate - Test 1",,,,,,,1,,16,"311 1 192.168.0.213 03/15/2018 08:14:29 1",,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,"Use Windows authentication for all users",1,,,,

다음은 예제입니다.appsettings.json구성 파일에는DirectorySource선언을 사용하는Delimited레코드 파서를 사용하여이 텍스트를 객체 표현으로 구문 분석 할 수 있습니다. 그런 다음 JSON 형식의 데이터를 Kinesis Data Firehose 스로 스트리밍합니다.

{
    "Sources": [
        {
            "Id": "NPS",
            "SourceType": "DirectorySource",
            "Directory": "C:\\temp\\NPS",
            "FileNameFilter": "*.log",
            "RecordParser": "Delimited",
            "Delimiter": ",",
            "Headers": "ComputerName,ServiceName,Record-Date,Record-Time,Packet-Type,User-Name,Fully-Qualified-Distinguished-Name,Called-Station-ID,Calling-Station-ID,Callback-Number,Framed-IP-Address,NAS-Identifier,NAS-IP-Address,NAS-Port,Client-Vendor,Client-IP-Address,Client-Friendly-Name,Event-Timestamp,Port-Limit,NAS-Port-Type,Connect-Info,Framed-Protocol,Service-Type,Authentication-Type,Policy-Name,Reason-Code,Class,Session-Timeout,Idle-Timeout,Termination-Action,EAP-Friendly-Name,Acct-Status-Type,Acct-Delay-Time,Acct-Input-Octets,Acct-Output-Octets,Acct-Session-Id,Acct-Authentic,Acct-Session-Time,Acct-Input-Packets,Acct-Output-Packets,Acct-Terminate-Cause,Acct-Multi-Ssn-ID,Acct-Link-Count,Acct-Interim-Interval,Tunnel-Type,Tunnel-Medium-Type,Tunnel-Client-Endpt,Tunnel-Server-Endpt,Acct-Tunnel-Conn,Tunnel-Pvt-Group-ID,Tunnel-Assignment-ID,Tunnel-Preference,MS-Acct-Auth-Type,MS-Acct-EAP-Type,MS-RAS-Version,MS-RAS-Vendor,MS-CHAP-Error,MS-CHAP-Domain,MS-MPPE-Encryption-Types,MS-MPPE-Encryption-Policy,Proxy-Policy-Name,Provider-Type,Provider-Name,Remote-Server-Address,MS-RAS-Client-Name,MS-RAS-Client-Version",
            "TimestampField": "{Record-Date} {Record-Time}",
            "TimestampFormat": "MM/dd/yyyy HH:mm:ss"
        }
    ],
    "Sinks": [
        {
            "Id": "npslogtest",
            "SinkType": "KinesisFirehose",
            "Region": "us-west-2",
            "StreamName": "npslogtest",
            "Format": "json"
        }
    ],
    "Pipes": [
        {
            "Id": "W3SVCLog1ToKinesisStream",
            "SourceRef": "NPS",
            "SinkRef": "npslogtest"
        }
    ]
}

Kinesis 데이터 파이어호스로 스트리밍되는 JSON 형식의 데이터는 다음과 같습니다.

{
    "ComputerName": "NPS-MASTER",
    "ServiceName": "IAS",
    "Record-Date": "03/22/2018",
    "Record-Time": "23:07:55",
    "Packet-Type": "1",
    "User-Name": "user1",
    "Fully-Qualified-Distinguished-Name": "Domain1\\user1",
    "Called-Station-ID": "",
    "Calling-Station-ID": "",
    "Callback-Number": "",
    "Framed-IP-Address": "",
    "NAS-Identifier": "",
    "NAS-IP-Address": "",
    "NAS-Port": "",
    "Client-Vendor": "0",
    "Client-IP-Address": "192.168.86.137",
    "Client-Friendly-Name": "Nate - Test 1",
    "Event-Timestamp": "",
    "Port-Limit": "",
    "NAS-Port-Type": "",
    "Connect-Info": "",
    "Framed-Protocol": "",
    "Service-Type": "",
    "Authentication-Type": "1",
    "Policy-Name": "",
    "Reason-Code": "0",
    "Class": "311 1 192.168.0.213 03/15/2018 08:14:29 1",
    "Session-Timeout": "",
    "Idle-Timeout": "",
    "Termination-Action": "",
    "EAP-Friendly-Name": "",
    "Acct-Status-Type": "",
    "Acct-Delay-Time": "",
    "Acct-Input-Octets": "",
    "Acct-Output-Octets": "",
    "Acct-Session-Id": "",
    "Acct-Authentic": "",
    "Acct-Session-Time": "",
    "Acct-Input-Packets": "",
    "Acct-Output-Packets": "",
    "Acct-Terminate-Cause": "",
    "Acct-Multi-Ssn-ID": "",
    "Acct-Link-Count": "",
    "Acct-Interim-Interval": "",
    "Tunnel-Type": "",
    "Tunnel-Medium-Type": "",
    "Tunnel-Client-Endpt": "",
    "Tunnel-Server-Endpt": "",
    "Acct-Tunnel-Conn": "",
    "Tunnel-Pvt-Group-ID": "",
    "Tunnel-Assignment-ID": "",
    "Tunnel-Preference": "",
    "MS-Acct-Auth-Type": "",
    "MS-Acct-EAP-Type": "",
    "MS-RAS-Version": "",
    "MS-RAS-Vendor": "",
    "MS-CHAP-Error": "",
    "MS-CHAP-Domain": "",
    "MS-MPPE-Encryption-Types": "",
    "MS-MPPE-Encryption-Policy": "",
    "Proxy-Policy-Name": "Use Windows authentication for all users",
    "Provider-Type": "1",
    "Provider-Name": "",
    "Remote-Server-Address": "",
    "MS-RAS-Client-Name": "",
    "MS-RAS-Client-Version": ""
}

SysLog레코드 구문 분석기

에 대 한SysLog레코드 파서를 사용하는 경우 원본의 구문 분석 된 출력에는 다음 정보가 포함됩니다.

속성 유형 설명
SysLogTimeStamp 문자열 syslog가 포맷한 로그 파일의 원래 날짜 및 시간입니다.
Hostname 문자열 syslog로 포맷된 로그 파일이 있는 컴퓨터의 이름입니다.
Program 문자열 로그 파일을 생성한 애플리케이션 또는 서비스의 이름입니다.
Message 문자열 응용 프로그램 또는 서비스에서 생성된 로그 메시지입니다.
TimeStamp 문자열 ISO 8601 형식의 구문 분석 날짜 및 시간입니다.

다음은 JSON으로 변환된 SysLog 데이터의 예입니다.

{
    "SysLogTimeStamp": "Jun 18 01:34:56",
    "Hostname": "myhost1.example.mydomain.com",
    "Program": "mymailservice:",
    "Message": "Info: ICID 123456789 close",
    "TimeStamp": "2017-06-18T01:34.56.000"
}

Summary

다음에 사용할 수 있는 키-값 페어의 요약은DirectorySource소스 및RecordParser이 키-값 페어와 관련되어 있습니다.

키 이름 레코드파서 참고
SourceType 모든 사용자에게 필수 값이 있어야 합니다.DirectorySource
Directory 모든 사용자에게 필수
FileNameFilter 모든 항목에 대한 선택 사항
RecordParser 모든 사용자에게 필수
TimestampField 의 경우 선택 사항SingleLineJson
TimestampFormat 의 필수 사항Timestamp에 대한 필수SingleLineJson다음과 같은 경우TimestampField가 지정됩니다.
Pattern 의 필수 사항Regex
ExtractionPattern 의 경우 선택 사항Regex 의 필수 사항Regex싱크가 지정하는 경우json또는xmlformat
Delimiter 의 필수 사항Delimited
HeaderPattern 의 경우 선택 사항Delimited
Headers 의 경우 선택 사항Delimited
RecordPattern 의 경우 선택 사항Delimited
CommentPattern 의 경우 선택 사항Delimited
TimeZoneKind 의 경우 선택 사항Regex,Timestamp,SysLog, 및SingleLineJson타임 스탬프 필드가 식별 될 때
SkipLines 모든 항목에 대한 선택 사항

Exchange 로그소스 구성

이ExchangeLogSource유형은 마이크로소프트 익스체인지에서 로그를 수집하는 데 사용됩니다. Exchange는 여러 종류의 로그 형식으로 로그를 생성합니다. 이 소스 유형은 모두 구문 분석합니다. 그것을 사용하여 구문 분석 할 수는 있지만DirectorySource유형을Regex레코드 파서를 사용하는 것이 훨씬 간단합니다ExchangeLogSource. 로그 파일의 정규식을 디자인하고 제공할 필요가 없기 때문입니다. 다음은 예제입니다.ExchangeLogSource선언: 

{
   "Id": "MyExchangeLog",
   "SourceType": "ExchangeLogSource",
   "Directory": "C:\\temp\\ExchangeLogTest",
   "FileNameFilter": "*.log"
}

모든 교환 선언은 다음 키-값 페어를 제공할 수 있습니다.

SourceType

리터럴 문자열이어야 합니다."ExchangeLogSource"(필수).

Directory

로그 파일이 들어 있는 디렉토리의 경로입니다 (필수 사항).

FileNameFilter

선택적으로 와일드카드 파일 이름 지정 패턴에 따라 로그 데이터가 수집되는 디렉터리의 파일 집합을 제한합니다. 이 키-값 쌍을 지정하지 않으면 기본적으로 디렉토리의 모든 파일에서 로그 데이터가 수집됩니다.

TimestampField

레코드의 날짜 및 시간을 포함하는 열의 이름입니다. 이 키 - 값 쌍은 선택 사항이며 필드 이름이date-time또는DateTime. 그렇지 않으면 필요합니다.

W3SV클로그소스 구성

이W3SVCLogSource유형은 Windows용 IIS (인터넷 정보 서비스) 에서 로그를 수집하는 데 사용됩니다.

다음은 예제입니다.W3SVCLogSource선언: 

{
   "Id": "MyW3SVCLog",
   "SourceType": "W3SVCLogSource",
   "Directory": "C:\\inetpub\\logs\\LogFiles\\W3SVC1",
   "FileNameFilter": "*.log"
}

모두W3SVCLogSource선언은 다음 키-값 페어를 제공할 수 있습니다.

SourceType

리터럴 문자열이어야 합니다."W3SVCLogSource"(필수).

Directory

로그 파일이 들어 있는 디렉토리의 경로입니다 (필수 사항).

FileNameFilter

선택적으로 와일드카드 파일 이름 지정 패턴에 따라 로그 데이터가 수집되는 디렉터리의 파일 집합을 제한합니다. 이 키-값 쌍을 지정하지 않으면 기본적으로 디렉토리의 모든 파일에서 로그 데이터가 수집됩니다.

UlsSource 구성

이UlsSource유형은 마이크로 소프트 SharePoint 포인트에서 로그를 수집하는 데 사용됩니다. 다음은 예제입니다.UlsSource선언: 

{
    "Id": "UlsSource",
    "SourceType": "UlsSource",
    "Directory": "C:\\temp\\uls",
    "FileNameFilter": "*.log"
}

모두UlsSource선언은 다음 키-값 페어를 제공할 수 있습니다.

SourceType

리터럴 문자열이어야 합니다."UlsSource"(필수).

Directory

로그 파일이 들어 있는 디렉토리의 경로입니다 (필수 사항).

FileNameFilter

선택적으로 와일드카드 파일 이름 지정 패턴에 따라 로그 데이터가 수집되는 디렉터리의 파일 집합을 제한합니다. 이 키-값 쌍을 지정하지 않으면 기본적으로 디렉토리의 모든 파일에서 로그 데이터가 수집됩니다.

창 세븐로그소스 구성

이WindowsEventLogSource유형은 Windows 이벤트 로그 서비스에서 이벤트를 수집하는 데 사용됩니다. 다음은 예제입니다.WindowsEventLogSource선언: 

{
    "Id": "mySecurityLog",
    "SourceType": "WindowsEventLogSource",
    "LogName": "Security"
}

모두WindowsEventLogSource선언은 다음 키-값 페어를 제공할 수 있습니다.

SourceType

리터럴 문자열이어야 합니다."WindowsEventLogSource"(필수).

LogName

이벤트는 지정된 로그에서 수집됩니다. 일반적인 값은 다음과 같습니다.Application,Security, 및System를 사용할 수 있지만 유효한 Windows 이벤트 로그 이름을 지정할 수 있습니다. 이 키-값 페어가 필요합니다.

Query

선택적으로 어떤 이벤트가 출력되는지를 제한합니다WindowsEventLogSource. 이 키 - 값 쌍을 지정하지 않으면 기본적으로 모든 이벤트가 출력됩니다. 이 값의 구문에 대한 자세한 내용은 다음 () 을 참조하십시오.이벤트 쿼리 및 이벤트 XML에서 Windows 설명서를 참조하십시오. 로그 수준 정의에 대한 자세한 내용은 단원을 참조하십시오.이벤트 유형에서 Windows 설명서를 참조하십시오.

IncludeEventData

선택적으로 이 키-값 쌍의 값이"true". 성공적으로 직렬화할 수 있는 이벤트 데이터만 포함됩니다. 이 키-값 쌍은 선택 사항이며 지정하지 않으면 공급자 관련 이벤트 데이터가 수집되지 않습니다.

참고

이벤트 데이터를 포함하면 이 소스에서 스트리밍되는 데이터의 양이 크게 늘어날 수 있습니다. 이벤트의 최대 크기는 이벤트 데이터가 포함된 262,143바이트가 될 수 있습니다.

의 구문 분석 된 출력WindowsEventLogSource에는 다음 정보가 포함됩니다.

속성 유형 설명
EventId 정수 이벤트 유형의 식별자입니다.
Description 문자열 이벤트의 세부 정보를 설명하는 텍스트입니다.
LevelDisplayName 문자열 이벤트 범주 (오류, 경고, 정보, 성공 감사, 실패 감사 중 하나) 입니다.
LogName 문자열 이벤트가 기록된 위치 (일반적인 값은Application,Security, 및System, 그러나 많은 가능성이있다).
MachineName 문자열 이벤트를 기록한 컴퓨터입니다.
ProviderName 문자열 이벤트를 기록한 응용 프로그램 또는 서비스
TimeCreated 문자열 ISO 8601 형식으로 이벤트가 발생한 경우
Index 정수 로그에있는 항목입니다.
UserName 문자열 알려진 경우 누가 항목을 만들었습니다.
Keywords 문자열 이벤트의 유형입니다. 표준 값은 다음과 같습니다.AuditFailure(실패한 보안 감사 이벤트),AuditSuccess(성공적인 보안 감사 이벤트),Classic와 함께 발생 이벤트 (RaiseEvent함수)Correlation Hint(전송 이벤트),SQM(서비스 품질 메커니즘 이벤트),WDI Context(Windows 진단 인프라 컨텍스트 이벤트) 및WDI Diag(Windows 진단 인프라 진단 이벤트).
EventData List object 로그 이벤트에 대한 공급자별 추가 데이터 (선택 사항) 에 대 한 값 경우에만 포함 됩니다IncludeEventData키-값 페어는"true".

다음은 JSON으로 변환된 이벤트 예제입니다.

{[ 
    "EventId": 7036, 
    "Description": "The Amazon SSM Agent service entered the stopped state.", 
    "LevelDisplayName": "Informational", 
    "LogName": "System", 
    "MachineName": "mymachine.mycompany.com", 
    "ProviderName": "Service Control Manager", 
    "TimeCreated": "2017-10-04T16:42:53.8921205Z", 
    "Index": 462335, 
    "UserName": null, 
    "Keywords": "Classic", 
    "EventData": [ 
    "Amazon SSM Agent", 
    "stopped", 
    "rPctBAMZFhYubF8zVLcrBd3bTTcNzHvY5Jc2Br0aMrxxx==" 
]}

창 세븐로그폴링소스 구성

WindowsEventLogPollingSource는 폴링 기반 메커니즘을 사용하여 구성된 매개 변수와 일치하는 이벤트 로그에서 모든 새 이벤트를 수집합니다. 폴링 간격은 마지막 폴링 중에 수집된 이벤트 수에 따라 100ms에서 5000ms 사이에서 동적으로 업데이트됩니다. 다음은 예제입니다.WindowsEventLogPollingSource선언:

{
    "Id": "MySecurityLog",
    "SourceType": "WindowsEventLogPollingSource",
    "LogName": "Security",
    "IncludeEventData": "true",
    "Query": "",
    "CustomFilters": "ExcludeOwnSecurityEvents"
}

모두WindowsEventLogPollingSource선언은 다음 키-값 페어를 제공할 수 있습니다.

SourceType

리터럴 문자열이어야 합니다."WindowsEventLogPollingSource"(필수).

LogName

로그를 지정합니다. 유효한 옵션은 다음과 같습니다.Application,Security,System또는 기타 유효한 로그가 있습니다.

IncludeEventData

선택 사항입니다. 일시true는 JSON 및 XML로 스트리밍될 때 추가 EventData 포함되도록 지정합니다. 기본값은 false.

Query

선택 사항입니다. Windows 이벤트 로그는 XPath 식을 사용하여 이벤트를 쿼리하는 기능을 지원합니다.Query. 자세한 내용은 단원을 참조하십시오.이벤트 쿼리 및 이벤트 XML에서 Microsoft 설명서를 참조하십시오.

CustomFilters

선택 사항입니다. 세미콜론으로 구분된 필터 목록 (;). 다음 필터를 지정할 수 있습니다.

ExcludeOwnSecurityEvents

Windows용 Kinesis 에이전트에서 생성된 보안 이벤트를 제외합니다.

창 집합소스 구성

이WindowsETWEventSource유형은 ETW (Windows용 이벤트 추적) 라는 기능을 사용하여 응용 프로그램 및 서비스 이벤트 추적을 수집하는 데 사용됩니다. 자세한 내용은 단원을 참조하십시오.이벤트 추적에서 Windows 설명서를 참조하십시오.

다음은 예제입니다.WindowsETWEventSource선언:

{
    "Id": "ClrETWEventSource",
    "SourceType": "WindowsETWEventSource",
    "ProviderName": "Microsoft-Windows-DotNETRuntime",
    "TraceLevel": "Verbose",
    "MatchAnyKeyword": 32768
}

모두WindowsETWEventSource선언은 다음 키-값 페어를 제공할 수 있습니다.

SourceType

리터럴 문자열이어야 합니다."WindowsETWEventSource"(필수).

ProviderName

추적 이벤트를 수집하는 데 사용할 이벤트 공급자를 지정합니다. 이 이름은 설치된 공급자에 대해 유효한 ETW 제공자 이름이어야 합니다. 설치된 공급자를 확인하려면 Windows 명령 프롬프트 창에서 다음을 실행합니다.

logman query providers
TraceLevel

수집해야 하는 추적 이벤트 범주를 지정합니다. 허용되는 값은 다음과 같습니다.Critical,Error,Warning,Informational, 및Verbose. 정확한 의미는 선택한 ETW 공급자에 따라 다릅니다.

MatchAnyKeyword

이 값은 각 비트가 개별 키워드를 나타내는 64비트 숫자입니다. 각 키워드는 수집할 이벤트의 범주를 설명합니다. 지원되는 키워드 및 해당 값 및 해당 키워드와 관련된 방법TraceLevel에 대한 자세한 내용은 해당 공급자의 설명서를 참조하십시오. 예를 들어 CLR ETW 공급자에 대한 자세한 내용은CLR ETW 키워드 및 레벨Microsoft .NET Framework 설명서를 참조하십시오.

앞의 예제에서 32768 (0x00008000) 은ExceptionKeywordthrow된 예외에 대한 정보를 수집하도록 공급자에게 지시하는 CLR ETW 공급자에 대해 설명합니다. JSON은 기본적으로 16 진수 상수를 지원하지 않지만MatchAnyKeyword문자열에 배치하여. 여러 상수를 쉼표로 구분하여 지정할 수도 있습니다. 예를 들어, 다음을 사용하여ExceptionKeyword및SecurityKeyword(0x00000400):

{
   "Id": "MyClrETWEventSource",
   "SourceType": "WindowsETWEventSource",
   "ProviderName": "Microsoft-Windows-DotNETRuntime",
   "TraceLevel": "Verbose",
   "MatchAnyKeyword": "0x00008000, 0x00000400"
}

공급자에 대해 지정된 모든 키워드가 활성화되도록 하려면 OR을 사용하여 여러 키워드 값을 결합하고 해당 공급자에게 전달합니다.

의 출력WindowsETWEventSource에는 각 이벤트에 대해 다음 정보가 포함됩니다.

속성 유형 설명
EventName 문자열 어떤 이벤트가 발생했는지.
ProviderName 문자열 이벤트를 감지한 공급자입니다.
FormattedMessage 문자열 이벤트에 대한 텍스트 요약입니다.
ProcessID 정수 이벤트를 보고한 프로세스입니다.
ExecutingThreadID 정수 프로세스 내의 어떤 스레드가 이벤트를보고했습니다.
MachineName 문자열 이벤트를 보고하는 데스크톱 또는 서버의 이름입니다.
Payload 해시 테이블 문자열 키와 모든 종류의 객체를 값으로 사용하는 테이블입니다. 키는 페이로드 항목 이름이고 값은 페이로드 항목의 값입니다. 페이로드는 공급자에 따라 다릅니다.

다음은 JSON으로 변환된 이벤트 예제입니다.

{ 
     "EventName": "Exception/Start", 
     "ProviderName": "Microsoft-Windows-DotNETRuntime", 
     "FormattedMessage": "ExceptionType=System.Exception;\r\nExceptionMessage=Intentionally unhandled exception.;\r\nExceptionEIP=0x2ab0499;\r\nExceptionHRESULT=-2,146,233,088;\r\nExceptionFlags=CLSCompliant;\r\nClrInstanceID=9 ",
     "ProcessID": 3328, 
     "ExecutingThreadID": 6172, 
     "MachineName": "MyHost.MyCompany.com", 
     "Payload": 
      { 
        "ExceptionType": "System.Exception", 
        "ExceptionMessage": "Intentionally unhandled exception.", 
        "ExceptionEIP": 44762265, 
        "ExceptionHRESULT": -2146233088, 
        "ExceptionFlags": 16, 
        "ClrInstanceID": 9 
      } 
}

창기능카운터 소스 구성

이WindowsPerformanceCounterSource유형은 Windows에서 성능 카운터 메트릭을 수집합니다. 다음은 예제입니다.WindowsPerformanceCounterSource선언: 

{
	"Id": "MyPerformanceCounter",
	"SourceType": "WindowsPerformanceCounterSource",
	"Categories": [{
			"Category": "Server",
			"Counters": ["Files Open", "Logon Total", "Logon/sec", "Pool Nonpaged Bytes"]
		},
		{
			"Category": "System",
			"Counters": ["Processes", "Processor Queue Length", "System Up Time"]
		},
		{
			"Category": "LogicalDisk",
			"Instances": "*",
			"Counters": [
				"% Free Space", "Avg. Disk Queue Length",
				{
					"Counter": "Disk Reads/sec",
					"Unit": "Count/Second"
				},
				"Disk Writes/sec"
			]
		},
		{
			"Category": "Network Adapter",
			"Instances": "^Local Area Connection\* \d$",
			"Counters": ["Bytes Received/sec", "Bytes Sent/sec"]
		}
	]
}

모두WindowsPerformanceCounterSource선언은 다음 키-값 페어를 제공할 수 있습니다.

SourceType

리터럴 문자열이어야 합니다."WindowsPerformanceCounterSource"(필수).

Categories

Windows에서 수집할 성능 카운터 메트릭 그룹 집합을 지정합니다. 각 지표 그룹에는 다음과 같은 키-값 페어가 저장됩니다.

Category

수집할 메트릭 카운터 집합을 지정합니다 (필수).

Instances

개체당 고유한 성능 카운터 집합이 있을 때 관심 있는 개체 집합을 지정합니다. 예를 들어 범주가LogicalDisk에는 디스크 드라이브당 일련의 성능 카운터가 있습니다. 이 키-값 페어는 선택 사항입니다. 와일드 카드를 사용할 수 있습니다.*및?를 사용하여 여러 인스턴스와 일치시킵니다. 모든 인스턴스에서 값을 집계하려면_Total.

다음을 사용할 수도 있습니다.InstanceRegex를 포함하는 정규 표현식을 받아들이는*와일드카드 문자를 인스턴스 이름의 일부로 사용합니다.

Counters

지정된 범주에 대해 수집할 메트릭을 지정합니다. 이 키-값 페어가 필요합니다. 와일드 카드를 사용할 수 있습니다.*및?를 사용하여 여러 카운터를 일치시킵니다. 다음을 지정할 수 있습니다.Counters이름만 사용하거나 이름과 단위를 사용하여. 카운터 단위를 지정하지 않으면 Windows용 Kinesis 에이전트는 이름에서 장치를 유추하려고 시도합니다. 이러한 추론이 올바르지 않으면 단위를 명시 적으로 지정할 수 있습니다. 변경할 수 있습니다.Counter이름을 지정할 수 있습니다. 카운터의 보다 복잡한 표현은 다음 키-값 페어를 사용하는 객체입니다.

Counter

카운터의 이름입니다. 이 키-값 페어가 필요합니다.

Rename

싱크대에 제시 할 카운터의 이름입니다. 이 키-값 페어는 선택 사항입니다.

Unit

카운터와 연관된 값의 의미입니다. 유효한 장치 이름의 전체 목록은MetricDatum의Amazon CloudWatch API 참조.

다음은 복잡한 카운터 사양을 보여주는 예제입니다.


{
   "Counter": "Disk Reads/sec, 
   "Rename": "Disk Reads per second",
   "Unit": "Count/Second"
}

WindowsPerformanceCounterSource은 Amazon CloudWatch 싱크를 지정하는 파이프에서만 사용할 수 있습니다. Windows용 Kinesis 에이전트의 기본 제공 지표도 CloudWatch 로 스트리밍되는 경우 별도의 싱크를 사용합니다. 서비스 시작 후 Kinesis Agent for Windows용 로그를 검사하여 장치가WindowsPerformanceCounterSource선언을 참조하십시오. PowerShell 을 사용 하 여 범주, 인스턴스 및 카운터에 대 한 유효한 이름을 확인 합니다.

카운터 세트와 연결된 카운터를 포함하여 모든 범주에 대한 정보를 보려면 PowerShell 창에서 다음 명령을 실행합니다.


    Get-Counter -ListSet * | Sort-Object

카운터 집합의 각 카운터에 사용할 수 있는 인스턴스를 확인하려면 PowerShell 창에서 다음 예제와 유사한 명령을 실행합니다.


    Get-Counter -Counter "\Process(*)\% Processor Time"

의 값Counter매개 변수의 경로 중 하나여야 합니다.PathsWithInstances멤버 앞에 나열된Get-Counter -ListSet명령 호출로 이동합니다.

Windows용 Kinesis 에이전트 기본 제공 메트릭 소스

다음과 같은 일반적인 메트릭 소스 외에도WindowsPerformanceCounterSource유형 (창기능카운터 소스 구성) 에서 CloudWatch 싱크 유형은 Windows용 Kinesis 에이전트에 대한 메트릭을 수집하는 특수 소스에서 메트릭을 수신할 수 있습니다. 또한 Windows용 Kinesis 에이전트 측정치를 사용할 수도 있습니다.KinesisTapWindows 성능 카운터의 범주입니다.

이MetricsFilter키-값 쌍은 내장 Windows용 Kinesis 에이전트 메트릭 소스에서 CloudWatch로 스트리밍되는 메트릭을 지정합니다. 값은 세미콜론으로 구분된 하나 이상의 필터 표현식을 포함하는 문자열입니다. 예를 들면 다음과 같습니다.

"MetricsFilter": "필터변환 표현식1;필터변환 표현식2"

하나 이상의 필터 표현식과 일치하는 지표는 CloudWatch 로 스트리밍됩니다.

단일 인스턴스 메트릭은 본질적으로 전역이며 특정 소스 또는 싱크에 연결되지 않습니다. 여러 인스턴스 메트릭은 소스 또는 싱크 선언에 따라 차원적Id. 각 소스 또는 싱크 유형은 서로 다른 메트릭 집합을 가질 수 있습니다.

Windows용 Kinesis 에이전트 메트릭 이름의 기본 제공 목록은Windows용 Kinesis 에이전트 메트릭 목록.

단일 인스턴스 메트릭의 경우 필터 표현식은 메트릭의 이름입니다. 예를 들면 다음과 같습니다.


"MetricsFilter": "SourcesFailedToStart;SinksFailedToStart"

여러 인스턴스 메트릭의 경우 필터 표현식은 메트릭의 이름, 마침표 (.) 를 선택한 다음Id해당 메트릭을 생성 한 소스 또는 싱크 선언의 예를 들어, 싱크 선언이 있다고 가정하면Id의MyFirehose:


"MetricsFilter": "KinesisFirehoseRecordsFailedNonrecoverable.MyFirehose"

단일 인스턴스 메트릭과 다중 인스턴스 메트릭을 구분하도록 설계된 특수 와일드카드 패턴을 사용할 수 있습니다.

  • 별표 (*) 는 마침표를 제외한 0 개 이상의 문자와 일치합니다 (.).

  • 물음표 (?) 는 마침표를 제외한 한 문자와 일치합니다.

  • 다른 문자는 자체 만 일치합니다.

  • _Total는 차원에서 일치하는 모든 여러 인스턴스 값을 집계하는 특수 토큰입니다.

다음 예제에서는 모든 단일 인스턴스 지표를 찾습니다.

"MetricsFilter": "*"

별표가 기간 문자와 일치하지 않으므로 단일 인스턴스 메트릭만 포함됩니다.

다음 예제에서는 여러 인스턴스 지표를 모두 비교합니다.

"MetricsFilter": "*.*"

다음 예제에서는 모든 지표 (단일 및 다중) 와 일치합니다.

"MetricsFilter": "*;*.*"

다음 예에서는 모든 소스 및 싱크에서 여러 인스턴스 메트릭을 모두 집계합니다.

"MetricsFilter": "*._Total"

다음 예제에서는 모든 Kinesis Data Firehose 싱크에 대한 모든 Kinesis 데이터 파이어호스 지표를 집계합니다.

"MetricsFilter": "*Firehose*._Total"

다음 예제에서는 모든 단일 인스턴스 오류 메트릭과 다중 인스턴스 오류 메트릭을 일치시킵니다.

"MetricsFilter": "*Failed*;*Error*.*;*Failed*.*"

다음 예에서는 모든 소스 및 싱크에서 집계된 복구 불가능한 모든 오류 메트릭을 찾습니다.

"MetricsFilter": "*Nonrecoverable*._Total"

Windows용 Kinesis 에이전트 기본 제공 메트릭 소스를 사용하는 파이프를 지정하는 방법에 대한 자세한 내용은Windows 메트릭 파이프용 Kinesis 에이전트 구성.

Windows용 Kinesis 에이전트 메트릭 목록

다음은 Windows용 Kinesis 에이전트에서 사용할 수 있는 단일 인스턴스 및 여러 인스턴스 메트릭의 목록입니다.

단일 인스턴스 지표

다음과 같은 단일 인스턴스 지표를 사용할 수 있습니다.

KinesisTapBuildNumber

Windows용 Kinesis 에이전트의 버전 번호입니다.

PipesConnected

얼마나 많은 파이프가 소스를 싱크대에 성공적으로 연결했는지.

PipesFailedToConnect

얼마나 많은 파이프가 소스를 싱크대에 연결했습니까?

SinkFactoriesFailedToLoad

Windows용 Kinesis 에이전트에 로드되지 않은 싱크 유형이 몇 개입니까?

SinkFactoriesLoaded

Windows용 Kinesis 에이전트에 성공적으로 로드된 싱크 유형 수

SinksFailedToStart

얼마나 많은 싱크가 성공적으로 시작되지 않았습니까? 대개 잘못된 싱크 선언으로 인해.

SinksStarted

얼마나 많은 싱크가 성공적으로 시작되었는지.

SourcesFailedToStart

얼마나 많은 소스가 성공적으로 시작되지 않았습니까? 대개 잘못된 소스 선언으로 인해.

SourcesStarted

얼마나 많은 출처가 성공적으로 시작되었는지.

SourceFactoriesFailedToLoad

Windows용 Kinesis 에이전트에 로드되지 않은 소스 유형 수

SourceFactoriesLoaded

Windows용 Kinesis 에이전트에 성공적으로 로드된 소스 유형 수

다중 인스턴스 지표

다음과 같은 여러 인스턴스 지표를 사용할 수 있습니다.

디렉토리소스 지표

DirectorySourceBytesRead

이 간격 동안 읽은 바이트 수DirectorySource.

DirectorySourceBytesToRead

Windows용 Kinesis 에이전트에서 아직 읽지 않은 읽을 수 있는 알려진 바이트 수입니다.

DirectorySourceFilesToProcess

Windows용 Kinesis 에이전트에서 아직 검사하지 않은 알려진 파일 수

DirectorySourceRecordsRead

이 간격 동안 읽은 레코드 수DirectorySource.

창로그소스 지표

EventLogSourceEventsError

얼마나 많은 Windows 이벤트 로그 이벤트를 성공적으로 읽지 못했습니다.

EventLogSourceEventsRead

얼마나 많은 Windows 이벤트 로그 이벤트를 성공적으로 읽었습니다.

KinesisFirehose 싱크 메트릭

KinesisFirehoseBytesAccepted

간격 동안 허용되는 바이트 수입니다.

KinesisFirehoseClientLatency

레코드 생성과 레코드 스트리밍 사이에 Kinesis Data Firehose 서비스에 전달된 시간이 얼마나 걸렸습니다.

KinesisFirehoseLatency

Kinesis Data Firehose 서비스에 대한 레코드 스트리밍의 시작과 종료 사이에 경과된 시간

KinesisFirehoseNonrecoverableServiceErrors

재시도에도 불구하고 Kinesis Data Firehose 서비스에 오류 없이 레코드를 전송할 수 없는 횟수입니다.

KinesisFirehoseRecordsAttempted

Kinesis Data Firehose 서비스로 스트리밍하려고 시도한 레코드의 수입니다.

KinesisFirehoseRecordsFailedNonrecoverable

재시도에도 불구하고 Kinesis Data Firehose 서비스에 성공적으로 스트리밍되지 않은 레코드 수

KinesisFirehoseRecordsFailedRecoverable

얼마나 많은 레코드가 Kinesis Data Firehose 서비스로 성공적으로 스트리밍되었으나 재시도만 가능합니다.

KinesisFirehoseRecordsSuccess

재시도 없이 Kinesis Data Firehose 서비스로 성공적으로 스트리밍된 레코드 수

KinesisFirehoseRecoverableServiceErrors

얼마나 많은 레코드가 Kinesis Data Firehose 서비스로 성공적으로 전송될 수 있었지만 재시도만 가능합니다.

KinesisStream 지표

KinesisStreamBytesAccepted

간격 동안 허용되는 바이트 수입니다.

KinesisStreamClientLatency

레코드 생성과 레코드 스트리밍 사이에 Kinesis Data Streams 서비스로 전달된 시간

KinesisStreamLatency

Kinesis Data Streams 서비스에 대한 레코드 스트리밍의 시작과 끝 사이에 경과된 시간입니다.

KinesisStreamNonrecoverableServiceErrors

재시도에도 불구하고 Kinesis Data Streams 서비스에 오류 없이 레코드를 전송할 수 없는 횟수입니다.

KinesisStreamRecordsAttempted

Kinesis Data Streams 서비스로 스트리밍하려고 시도한 레코드 수입니다.

KinesisStreamRecordsFailedNonrecoverable

재시도에도 불구하고 Kinesis Data Streams 서비스에 성공적으로 스트리밍되지 않은 레코드 수입니다.

KinesisStreamRecordsFailedRecoverable

얼마나 많은 레코드가 Kinesis Data Streams 서비스로 성공적으로 스트리밍되었으나 재시도만 가능합니다.

KinesisStreamRecordsSuccess

재시도 없이 Kinesis Data Streams 서비스로 성공적으로 스트리밍된 레코드 수입니다.

KinesisStreamRecoverableServiceErrors

Kinesis Data Streams 서비스에 성공적으로 레코드가 전송될 수 있지만 재시도만 가능합니다.

CloudWatch Log 지표

CloudWatchLogBytesAccepted

간격 동안 허용되는 바이트 수입니다.

CloudWatchLogClientLatency

CloudWatch Logs 서비스에 대한 레코드 생성과 레코드 스트리밍 사이에 경과된 시간입니다.

CloudWatchLogLatency

CloudWatch Logs 서비스에 대한 레코드 스트리밍의 시작과 끝 사이에 경과된 시간입니다.

CloudWatchLogNonrecoverableServiceErrors

재시도에도 불구하고 CloudWatch Logs 서비스에 오류 없이 레코드를 전송할 수 없는 횟수입니다.

CloudWatchLogRecordsAttempted

CloudWatch Logs 서비스로 스트리밍하려고 시도한 레코드 수입니다.

CloudWatchLogRecordsFailedNonrecoverable

재시도에도 불구하고 CloudWatch Logs 서비스로 스트리밍되지 않은 레코드 수입니다.

CloudWatchLogRecordsFailedRecoverable

CloudWatch Logs 서비스로 성공적으로 스트리밍된 레코드 수 (재시도 횟수만 포함)

CloudWatchLogRecordsSuccess

다시 시도 없이 CloudWatch Logs 서비스로 성공적으로 스트리밍된 레코드 수입니다.

CloudWatchLogRecoverableServiceErrors

레코드를 CloudWatch Logs 서비스로 성공적으로 전송할 수 있지만 재시도만 할 수 있습니다.

CloudWatch 측정치

CloudWatchLatency

CloudWatch 서비스에 대한 지표 스트리밍의 시작과 끝 사이에 평균 시간이 경과된 시간입니다.

CloudWatchNonrecoverableServiceErrors

재시도에도 불구하고 CloudWatch 서비스에 오류 없이 지표를 전송할 수 없는 횟수입니다.

CloudWatchRecoverableServiceErrors

지표가 CloudWatch 서비스에 오류 없이 전송되었으나 재시도로만 전송된 횟수입니다.

CloudWatchServiceSuccess

재시도 없이 CloudWatch 서비스에 오류 없이 지표가 전송된 횟수입니다.

책갈피 구성

기본적으로 Windows용 Kinesis 에이전트는 에이전트가 시작된 후 생성된 싱크로 로그 레코드를 전송합니다. 때로는 자동 업데이트 중에 Kinesis Agent가 중지되는 기간 동안 생성된 로그 레코드와 같이 이전 로그 레코드를 전송하는 것이 유용합니다. 북마크 기능은 싱크로 전송 된 레코드를 추적합니다. Windows용 Kinesis 에이전트가 북마크 모드에 있고 시작되면 이후에 생성된 모든 로그 레코드와 함께 Windows용 Kinesis 에이전트가 중지된 후 생성된 모든 로그 레코드가 전송됩니다. 이 동작을 제어하기 위해 파일 기반 소스 선언에는 선택적으로 다음 키 - 값 쌍이 포함될 수 있습니다.

InitialPosition

책갈피의 초기 상황을 지정합니다. 가능한 값은 다음과 같습니다.

EOS

EOS (스트림의 끝) 를 지정합니다. 에이전트가 실행되는 동안 생성된 로그 레코드만 싱크로 전송됩니다.

0

사용 가능한 모든 로그 레코드와 이벤트가 처음에 전송됩니다. 그런 다음 북마크가 생성되어 북마크가 생성된 후 생성된 모든 새 로그 레코드와 이벤트가 결국 전송되도록 하기 위해 Kinesis Agent for Windows용 실행 여부와 상관없이 북마크가 생성됩니다.

Bookmark

북마크는 최신 로그 레코드 또는 이벤트 직후에 초기화됩니다. 그런 다음 북마크가 생성되어 북마크가 생성된 후 생성된 모든 새 로그 레코드와 이벤트가 결국 전송되도록 하기 위해 Kinesis Agent for Windows용 실행 여부와 상관없이 북마크가 생성됩니다.

책갈피는 기본적으로 활성화되어 있습니다. 파일은%ProgramData%\Amazon\KinesisTap디렉토리에 추가합니다.

Timestamp

로그 레코드 및 이벤트 후에 생성 된InitialPositionTimestamp값 (정의 다음) 이 전송됩니다. 그런 다음 책갈피가 생성되어 북마크가 생성된 후 생성된 모든 새 로그 레코드와 이벤트가 결국 Windows용 Kinesis 에이전트가 실행 중인지 여부에 관계없이 전송됩니다.

InitialPositionTimestamp

원하는 가장 빠른 로그 레코드 또는 이벤트 타임스탬프를 지정합니다. 이 키-값 페어를 지정하는 경우InitialPosition의 값은Timestamp.

BookmarkOnBufferFlush

이 설정은 북마크 가능한 소스에 추가할 수 있습니다. 로 설정된 경우true를 사용하면 싱크가 AWS 에 이벤트를 성공적으로 발송할 때만 책갈피 업데이트가 수행되도록 할 수 있습니다. 단일 싱크만 소스에 가입할 수 있습니다. 로그를 여러 대상으로 발송하는 경우 소스를 복제하여 데이터 손실과 관련된 잠재적인 문제를 방지하십시오.

Windows용 Kinesis 에이전트가 오랫동안 중지된 경우 북마크된 로그 레코드와 이벤트가 더 이상 존재하지 않을 수 있으므로 해당 책갈피를 삭제해야 할 수 있습니다. 주어진 북마크 파일소스 ID은 에 위치합니다.%PROGRAMDATA%\Amazon\AWSKinesisTap\source id.bm.

이름이 바뀌거나 잘린 파일에는 책갈피가 작동하지 않습니다. ETW 이벤트 및 성능 카운터의 특성으로 인해 북마크할 수 없습니다.