Konzepte von Amazon Kinesis Agent für Microsoft Windows

Ein Verständnis der wichtigsten Konzepte von Amazon Kinesis Agent für Microsoft Windows (Kinesis Agent für Windows) kann Ihnen das Sammeln und Streamen von Daten in Desktop- und Server-Flotten an die restliche Daten-Pipeline zwecks Verarbeitung erleichtern.

Dieses Diagramm einer Daten-Pipeline veranschaulicht die folgenden Komponenten und Prozesse:

Server und Desktops haben Artefakte wie Protokolldateien, Ereignisse und Metriken, die von einem oder mehreren Kinesis Agent für Windows gesammelt werden.Quellen. Die Daten können optional aus einem Flat-Datei-Textformat in ein Objekt transformiert werden.

Die Daten (entweder in Objekt- oder Textform) können dann in einen oder mehrere Kinesis Agent für Windows fließen.Pipes. Eine Pipe verbindet eine Quelle mit einem Kinesis Agent für Windowssink. Die Pipe kann optional unnötige Daten herausfiltern.

Eine Senke kann optional die in Objekte analysierten Daten in das JSON- oder XML-Format transformieren. Die Senke sendet die Daten an einen bestimmten AWS -Service, wie z. B. Kinesis Data Streams, Kinesis Data Firehose oder Amazon CloudWatch.

Unter Verwendung mehrerer Pipes kann eine einzelne Quelle dieselben Daten zu mehreren Senken senden (so z. B. die Pipes F und G im Diagramm). Unter Verwendung mehrerer Pipes können unterschiedliche Quellen Daten an eine einzelne Senke streamen (so z. B. die Pipes A, B und C im Diagramm). Es ist auch möglich, mit mehreren Pipes Daten aus mehreren Senken an mehrere Quellen zu streamen. Es gibt verschiedene Typen von Quellen, Senken und Pipes und es können mehrere Quellen, Senken oder Pipes desselben Typs vorhanden sein.

Beispiele für Konfigurationsdateien, die Quellen, Senken und Pipes deklarieren, finden Sie unter Konfigurationsbeispiele für Kinesis Agent für Windows.

Daten-Pipelines

ADaten-Pipelinewird verwendet, um Alarme für Anwendungen und Dienste zu sammeln, zu verarbeiten, zu visualisieren und möglicherweise zu generieren. Kinesis Agent für Windows passt zu Beginn in Datenpipelines, in denen Protokolle, Ereignisse und Metriken von Flotten von Desktop-Computern oder Servern gesammelt werden. Kinesis Agent für Windows streamt die gesammelten Daten an die verschiedenen AWS -Services, die die restliche Daten-Pipeline bilden. Eine Daten-Pipeline dient einem bestimmten Zweck, wie z. B. der Visualisierung des Zustands eines bestimmten Service in Echtzeit, um Techniker bei der effektiveren Nutzung dieses Service zu unterstützen. Eine Pipeline der Service-Zustandsdaten kann beliebige der folgenden Zwecke erfüllen:

• Sie kann Techniker auf Probleme aufmerksam machen, bevor die mit den Services gemachten Erfahrungen der Kunden durch diese Probleme beeinträchtigt werden.

• Sie kann Techniker durch Anzeigen von Nutzungstrends der Ressourcen zu effizientem Kostenmanagement befähigen. Anhand dieser Trends können sie Ressourcen-Bestände entsprechend korrigieren oder sogar Auto Scaling-Szenarien implementieren.

• Sie kann Einblicke in die Ursachen der Probleme gewähren, die von Kunden des Service gemeldet werden. Auf diese Weise lassen sich diese Probleme schneller lösen und Support-Kosten reduzieren.

Ein Schritt-für-Schritt-Beispiel für die Erstellung einer Daten-Pipeline mithilfe von Kinesis Agent für Windows finden Sie unterTutorial: Streamen von JSON-Protokolldateien mit Kinesis Agent für Windows zu Amazon S3.

Sources

Ein Kinesis Agent für Windowssourcesammelt Protokolle, Ereignisse oder Metriken. Eine Quelle sammelt Daten einer bestimmten Art von einem bestimmten Produzenten dieser Daten basierend auf dem Typ der Quelle. Beispiel: Der Typ DirectorySource sammelt Protokolldateien aus bestimmten Verzeichnissen im Dateisystem. Wenn die Daten noch nicht strukturiert sind (wie bei bestimmten Arten von Protokolldateien), kann eine Quelle bei der Analyse der Daten in einer strukturierten Form nützlich sein. Jede Quelle entspricht einer bestimmtenQuell-Deklarim Kinesis Agent für Windowsappsettings.json-Konfigurationsdatei. Die Quell-Deklaration bietet wesentliche Details zum Konfigurieren der Quelle, um die Quelle entsprechend den spezifischen Datenerfassungsanforderungen anzupassen. Welche Details konfiguriert werden können, ist je nach Quelltyp verschieden. Beispiel: Bei dem Quelltyp DirectorySource muss das Verzeichnis mit den Protokolldateien angegebenen werden.

Weitere Informationen zu Quelltypen und Quell-Deklarationen finden Sie unter Quell-Deklarationen.

Sinks

Ein Kinesis Agent für WindowssinkEine -Quelle streamt die von einer -Quelle von Kinesis Agent für Windows gesammelten Daten an einen von mehreren möglichen AWS -Services, die die restliche Daten-Pipeline bilden. Jede Senke entspricht einer bestimmtenDeklarationim Kinesis Agent für Windowsappsettings.json-Konfigurationsdatei. Die Senken-Deklaration bietet wesentliche Details zum Konfigurieren der Senke, um die Senke entsprechend den spezifischen Daten-Streaming-Anforderungen anzupassen. Welche Details konfiguriert werden können, ist je nach Senkentyp verschieden. Beispiel: Bei einigen Senken-Typen kann mit einer Senken-Deklaration ein bestimmtes Format der Serialisierung für Daten angegeben werden, die für sie bereitgestellt werden. Wenn diese Option in der Senken-Deklaration angegeben wird, wird zuerst eine Serialisierung der erfassten Daten durchgeführt, bevor die Daten an den der Senke zugeordneten AWS-Service gestreamt werden.

Weitere Informationen zu Senken-Typen und Senken-Deklarationen finden Sie unter Senken-Deklarationen.

Pipes

Ein Kinesis Agent für WindowsPipeEine -Quelle verbindet die Ausgabe einer Kinesis Agent für Windows-Quelle mit der Eingabe einer -Senke von Kinesis Agent für Windows. Während die Daten durch die Pipe strömen, können sie optional transformiert werden. Jede Pipe entspricht einer bestimmten Pipe-Deklaration in Kinesis Agent für Windowsappsettings.json-Konfigurationsdatei. Die Pipe-Deklaration bietet wesentliche Details für die Konfiguration der Pipe, wie z. B. die Quelle und Senke für die Pipe.

Weitere Informationen zu Pipe-Typen und Pipe-Deklarationen finden Sie unter Pipe-Deklarationen.