Ejemplos de configuración de Kinesis Agent para Windows

Laappsettings.jsones un documento JSON que controla el modo en que Amazon Kinesis Agent para Microsoft Windows recopila registros, eventos y métricas. También controla el modo en que Kinesis Agent para Windows transforma los datos y los transmite a los diferentes servicios de AWS. Para obtener más información sobre las declaraciones de orígenes, receptores y canalizaciones del archivo de configuración Declaraciones de origen, consulteDeclaraciones de receptores y Declaraciones de canalizaciones.

Las siguientes secciones contienen ejemplos de archivos de configuración diseñados para diferentes tipos de escenarios.

Transmisión a desde varios orígenes de Kinesis Data Streams

El siguiente ejemploappsettings.jsonLos archivos de configuración ilustran registros y eventos de transmisión a desde varios orígenes de Kinesis Data Streams y desde contadores de rendimiento de Windows a métricas de Amazon CloudWatch.

Analizador de registros SysLog, DirectorySource

El siguiente archivo transmite entradas de registro de formato syslog a partir de todos los archivos con un valor de.logextensión de archivo en el archivoC:\LogSource\al directorioSyslogKinesisDataStreamTransmisión a Kinesis Data Streams en la región us-east-1. Para garantizar que todos los datos de los archivos de registro se envían aunque el agente se apague y se reinicie posteriormente, se establece un marcador. Una aplicación personalizada puede leer y procesar los registros procedentes de la secuencia SyslogKinesisDataStream.

{
  "Sources": [
    {
      "Id": "SyslogDirectorySource",
      "SourceType": "DirectorySource",
      "Directory": "C:\\LogSource\\",
      "FileNameFilter": "*.log",
      "RecordParser": "SysLog",
      "TimeZoneKind": "UTC",
      "InitialPosition": "Bookmark"
    }
  ],
  "Sinks": [
    {
      "Id": "KinesisStreamSink",
      "SinkType": "KinesisStream",
      "StreamName": "SyslogKinesisDataStream",
      "Region": "us-east-1"
    }
  ],
  "Pipes": [
    {
      "Id": "SyslogDS2KSSink",
      "SourceRef": "SyslogDirectorySource",
      "SinkRef": "KinesisStreamSink"
    }
  ]
}                    

Analizador de registros SingleLineJson, DirectorySource

El siguiente archivo transmite entradas de registro con formato JSON a partir de todos los archivos con un valor de.logextensión de archivo en el archivoC:\LogSource\al directorioJsonKinesisDataStreamTransmisión a Kinesis Data Streams en la región us-east-1. Antes de la transmisión, los pares clave-valor de las claves ComputerName y DT se añaden a cada objeto JSON, con valores para el nombre del equipo y para la fecha y hora de procesamiento del registro. Una aplicación personalizada puede leer y procesar los registros procedentes de la secuencia JsonKinesisDataStream.

{
  "Sources": [
    {
      "Id": "JsonLogSource",
      "SourceType": "DirectorySource",
      "RecordParser": "SingleLineJson",
      "Directory": "C:\\LogSource\\",
      "FileNameFilter": "*.log",
      "InitialPosition": 0
    }
  ],
  "Sinks": [
    {
      "Id": "KinesisStreamSink",
      "SinkType": "KinesisStream",
      "StreamName": "JsonKinesisDataStream",
      "Region": "us-east-1",
      "Format": "json",
      "ObjectDecoration": "ComputerName={ComputerName};DT={timestamp:yyyy-MM-dd HH:mm:ss}"
    }
  ],
  "Pipes": [
    {
      "Id": "JsonLogSourceToKinesisStreamSink",
      "SourceRef": "JsonLogSource",
      "SinkRef": "KinesisStreamSink"
    }
  ]
}        

ExchangeLogSource

El siguiente archivo transmite entradas de registro generadas por Microsoft Exchange y almacenadas en archivos con el archivo.logextensión de en la extensiónC:\temp\ExchangeLog\al directorioExchangeKinesisDataStreamTransmisión de datos de Kinesis en la región us-east-1 con formato JSON. Aunque los registros de Exchange no estén en formato JSON, Kinesis Agent para Windows puede analizarlos y convertirlos a formato JSON. Antes de la transmisión, los pares clave-valor de las claves ComputerName y DT se añaden a cada objeto JSON, con valores para el nombre del equipo y para la fecha y hora de procesamiento del registro. Una aplicación personalizada puede leer y procesar los registros procedentes de la secuencia ExchangeKinesisDataStream.

{
  "Sources": [
    {
       "Id": "ExchangeSource",
       "SourceType": "ExchangeLogSource",
       "Directory": "C:\\temp\\ExchangeLog\",
       "FileNameFilter": "*.log"
    }
  ],
  "Sinks": [
    {
      "Id": "KinesisStreamSink",
      "SinkType": "KinesisStream",
      "StreamName": "ExchangeKinesisDataStream",
      "Region": "us-east-1",
      "Format": "json",
      "ObjectDecoration": "ComputerName={ComputerName};DT={timestamp:yyyy-MM-dd HH:mm:ss}"
    }
  ],
  "Pipes": [
    {
      "Id": "ExchangeSourceToKinesisStreamSink",
      "SourceRef": "ExchangeSource",
      "SinkRef": "KinesisStreamSink"
    }
  ]
}
          
        

W3SVCLogSource

El siguiente archivo transmite entradas de registro de Internet Information Services (IIS) para Windows almacenadas en la ubicación estándar de esos archivos a la carpetaIISKinesisDataStreamTransmisión a Kinesis Data Streams en la región us-east-1. Una aplicación personalizada puede leer y procesar los registros procedentes de la secuencia IISKinesisDataStream. IIS es un servidor web de Windows.

{
  "Sources": [
    {
       "Id": "IISLogSource",
       "SourceType": "W3SVCLogSource",
       "Directory": "C:\\inetpub\\logs\\LogFiles\\W3SVC1",
       "FileNameFilter": "*.log"
    }
  ],
  "Sinks": [
    {
      "Id": "KinesisStreamSink",
      "SinkType": "KinesisStream",
      "StreamName": "IISKinesisDataStream",
      "Region": "us-east-1"
    }
  ],
  "Pipes": [
    {
      "Id": "IISLogSourceToKinesisStreamSink",
      "SourceRef": "IISLogSource",
      "SinkRef": "KinesisStreamSink"
    }
  ]
}       

WindowsEventLogSource con Query

El siguiente archivo transmite eventos de registro desde el registro de sucesos del sistema Windows que tienen un nivel deCriticalorError(menor o igual que 2)SystemKinesisDataStreamTransmisión de datos de Kinesis en la región us-east-1 con formato JSON. Una aplicación personalizada puede leer y procesar los registros procedentes de la secuencia SystemKinesisDataStream.

{
  "Sources": [
    {
         "Id": "SystemLogSource",
         "SourceType": "WindowsEventLogSource",
         "LogName": "System",
         "Query": "*[System/Level<=2]"
    }
  ],
  "Sinks": [
    {
      "Id": "KinesisStreamSink",
      "SinkType": "KinesisStream",
      "StreamName": "SystemKinesisDataStream",
      "Region": "us-east-1",
      "Format": "json"
    }
  ],
  "Pipes": [
    {
      "Id": "SLSourceToKSSink",
      "SourceRef": "SystemLogSource",
      "SinkRef": "KinesisStreamSink"
    }
  ]
}       

WindowsETWEventSource

El siguiente archivo transmite excepciones y eventos de seguridad de Microsoft Common Language Runtime (CLR) a la claseClrKinesisDataStreamTransmisión de datos de Kinesis en la región us-east-1 con formato JSON. Una aplicación personalizada puede leer y procesar los registros procedentes de la secuencia ClrKinesisDataStream.

{
  "Sources": [
    {
       "Id": "ClrETWEventSource",
       "SourceType": "WindowsETWEventSource",
       "ProviderName": "Microsoft-Windows-DotNETRuntime",
       "TraceLevel": "Verbose",
       "MatchAnyKeyword": "0x00008000, 0x00000400"
    }
  ],
  "Sinks": [
    {
      "Id": "KinesisStreamSink",
      "SinkType": "KinesisStream",
      "StreamName": "ClrKinesisDataStream",
      "Region": "us-east-1",
      "Format": "json"
    }
  ],
  "Pipes": [
    {
      "Id": "ETWSourceToKSSink",
      "SourceRef": "ClrETWEventSource",
      "SinkRef": "KinesisStreamSink"
    }
  ]
}        

WindowsPerformanceCounterSource

El siguiente archivo transmite contadores de rendimiento sobre el total de archivos abiertos, el total de intentos de inicio de sesión desde el reinicio, el número de lecturas de disco por segundo y el porcentaje de espacio libre en disco a métricas de CloudWatch en la región us-east-1. Puede representar estas métricas en CloudWatch, crear paneles a partir de los gráficos y establecer alarmas que envíen notificaciones cuando se superen los umbrales.

{
  "Sources": [
    {
      "Id": "PerformanceCounter",
      "SourceType": "WindowsPerformanceCounterSource",
      "Categories": [
        {
          "Category": "Server",
          "Counters": [
            "Files Open",
            "Logon Total"
          ]
        },
        {
          "Category": "LogicalDisk",
          "Instances": "*",
          "Counters": [
            "% Free Space",
            {
              "Counter": "Disk Reads/sec",
              "Unit": "Count/Second"
            }
          ]
        }
      ],
    }
  ],
  "Sinks": [
    {
      "Namespace": "MyServiceMetrics",
      "Region": "us-east-1",
      "Id": "CloudWatchSink",
      "SinkType": "CloudWatch"
    }
  ],
  "Pipes": [
    {
      "Id": "PerformanceCounterToCloudWatch",
      "SourceRef": "PerformanceCounter",
      "SinkRef": "CloudWatchSink"
    }
  ]
}        

Transmisión a los receptores desde el registro de eventos de la aplicación de Windows

El siguiente ejemploappsettings.jsonLos archivos de configuración ilustran la transmisión de registros de eventos de la aplicación de Windows a varios receptores de Amazon Kinesis Agent para Microsoft Windows. Para ver ejemplos sobre el uso de los tipos de receptores KinesisStream y CloudWatch, consulte Transmisión a desde varios orígenes de Kinesis Data Streams.

KinesisFirehose

Las siguientes secuencias de archivosCriticalorErrorEventos de registro de aplicaciones de Windows en elWindowsLogFirehoseDeliveryStreamTransmisión de entrega de Kinesis Data Firehose en la región us-east-1. Si se interrumpe la conectividad con Kinesis Data Firehose, los eventos se ponen en cola en memoria. A continuación, si es necesario, se ponen en cola en un archivo del disco hasta que se restaura la conectividad. Después, los eventos van saliendo de las colas y se envían junto con los nuevos eventos que haya.

Puede configurar Kinesis Data Firehose para que guarde los datos transmitidos a varios tipos de almacenamiento y servicios de análisis de acuerdo con los requisitos de la canalización de datos.

{
  "Sources": [
    {
         "Id": "ApplicationLogSource",
         "SourceType": "WindowsEventLogSource",
         "LogName": "Application",
         "Query": "*[System/Level<=2]"
    }
  ],
  "Sinks": [
    {
       "Id": "WindowsLogKinesisFirehoseSink",
       "SinkType": "KinesisFirehose",
       "StreamName": "WindowsLogFirehoseDeliveryStream",
       "Region": "us-east-1",
       "QueueType": "file"
    }  
    ],
  "Pipes": [
    {
      "Id": "ALSource2ALKFSink",
      "SourceRef": "ApplicationLogSource",
      "SinkRef": "WindowsLogKinesisFirehoseSink"
    }
  ]
}        

CloudWatchLogs

Las siguientes secuencias de archivosCriticalorErrorRegistro de eventos de registro de la aplicación de Windows a CloudWatch Logs de entradas de registro enMyServiceApplicationLog-Groupgrupo de registros. El nombre de cada secuencia comienza por Stream-. Estos nombres terminan por un año de cuatro dígitos, un mes de dos dígitos y un día de dos dígitos que indican la creación de la secuencia (por ejemplo, la secuencia Stream-20180501 se creó el 1 de mayo de 2018).

{
  "Sources": [
    {
         "Id": "ApplicationLogSource",
         "SourceType": "WindowsEventLogSource",
         "LogName": "Application",
         "Query": "*[System/Level<=2]"
    }
  ],
  "Sinks": [
    {
      "Id": "CloudWatchLogsSink",
      "SinkType": "CloudWatchLogs",
      "LogGroup": "MyServiceApplicationLog-Group",
      "LogStream": "Stream-{timestamp:yyyyMMdd}",
      "Region": "us-east-1",
      "Format": "json"
    }
  ],
  "Pipes": [
    {
      "Id": "ALSource2CWLSink",
      "SourceRef": "ApplicationLogSource",
      "SinkRef": "CloudWatchLogsSink"
    }
  ]
}        

Uso de canalizaciones

El siguiente archivo de configuración appsettings.json de ejemplo ilustra el uso de características relacionadas con las canalizaciones.

En este ejemplo, se transmiten entradas del registro de la carpetac:\LogSource\a laApplicationLogFirehoseDeliveryStreamTransmisión de entrega de Kinesis Data Firehose. Solamente contiene las líneas que coinciden con la expresión regular especificada por el par clave-valor FilterPattern. En concreto, solo hay líneas del archivo de registro que comiencen por10or11se transmiten a Kinesis Data Firehose.

{
  "Sources": [
    {
      "Id": "ApplicationLogSource",
      "SourceType": "DirectorySource",
      "Directory": "C:\\LogSource\\",
      "FileNameFilter": "*.log",
      "RecordParser": "SingleLine"
    }
  ],
  "Sinks": [
    {
       "Id": "ApplicationLogKinesisFirehoseSink",
       "SinkType": "KinesisFirehose",
       "StreamName": "ApplicationLogFirehoseDeliveryStream",
       "Region": "us-east-1"
    }  
    ],
  "Pipes": [
    {
      "Id": "ALSourceToALKFSink",
      "Type": "RegexFilterPipe",
      "SourceRef": "ApplicationLogSource",
      "SinkRef": "ApplicationLogKinesisFirehoseSink",
      "FilterPattern": "^(10|11),.*"
    }
  ]
}        

Uso de varios orígenes y canalizaciones

El siguiente archivo de configuración appsettings.json de ejemplo ilustra el uso de varios orígenes y canalizaciones.

En este ejemplo, se transmiten registros de eventos de Windows de aplicaciones, seguridad y sistema a la carpetaEventLogStreamTransmisión de entrega de Kinesis Data Firehose a través de tres orígenes, tres canalizaciones y un receptor.

{
    "Sources": [
		{
		  "Id": "ApplicationLog",
		  "SourceType": "WindowsEventLogSource",
		  "LogName": "Application"
		},
		{
		  "Id": "SecurityLog",
		  "SourceType": "WindowsEventLogSource",
		  "LogName": "Security"
		},
		{
		  "Id": "SystemLog",
		  "SourceType": "WindowsEventLogSource",
		  "LogName": "System"
		}
    ],
    "Sinks": [
		{
		  "Id": "EventLogSink",
		  "SinkType": "KinesisFirehose",
		  "StreamName": "EventLogStream",
		  "Format": "json"
		},
    ],
    "Pipes": [
		{
		  "Id": "ApplicationLogToFirehose",
		  "SourceRef": "ApplicationLog",
		  "SinkRef": "EventLogSink"
		},
		{
		  "Id": "SecurityLogToFirehose",
		  "SourceRef": "SecurityLog",
		  "SinkRef": "EventLogSink"
		},
		{
		  "Id": "SystemLogToFirehose",
		  "SourceRef": "SystemLog",
		  "SinkRef": "EventLogSink"
		}
    ]
}