Amazon Kinesis Agent pour Microsoft Windows Concepts

Si vous comprenez les concepts clés d'Amazon Kinesis Agent for Microsoft Windows (Kinesis Agent for Windows) vous pourrez plus facilement collecter des données sur les flottes d'ordinateurs de bureau et de serveurs et les diffuser vers le reste du pipeline de données afin qu'elles soient traitées.

Ce diagramme de pipeline de données illustre les composants et processus suivants :

Les serveurs et les bureaux ont des artefacts tels que les fichiers journaux, les événements et les mesures qui sont rassemblés par un ou plusieurs Kinesis Agent pour Windowssources. Les données peuvent éventuellement être transformées, par exemple, d'un format texte de fichier plat en objet.

Les données (sous forme d'objet ou de texte) peuvent ensuite circuler dans un ou plusieurs Kinesis Agent pour WindowsCanaux. Un canal connecte une source à un agent Kinesis pour Windowssink. Le canal peut éventuellement filtrer les données inutiles.

Un récepteur peut éventuellement transformer les données analysées en objets au format JSON ou XML. Le récepteur envoie les données vers un service AWS spécifique, tel que Kinesis Data Streams, Kinesis Data Firehose ou Amazon CloudWatch.

En utilisant plusieurs canaux, une seule source peut envoyer les mêmes données vers plusieurs récepteurs (observez par exemple les canaux F et G dans le diagramme). En utilisant plusieurs canaux, plusieurs sources peuvent diffuser des données vers un seul récepteur (observez par exemple les canaux A, B et C dans le diagramme). Il est également possible d'utiliser plusieurs canaux pour diffuser des données à partir de plusieurs récepteurs vers plusieurs sources. Les sources, les récepteurs et les canaux ont des types, et plusieurs sources, récepteurs ou canaux peuvent être du même type.

Pour obtenir des exemples de fichiers de configuration déclarant des sources, des récepteurs et des canaux, consultez Exemples de configuration de l'agent Kinesis pour Windows.

Pipelines de données

AData pipelineest utilisé pour collecter, traiter, visualiser et éventuellement générer des alarmes pour les applications et les services. Kinesis Agent for Windows s'intègre aux pipelines de données au début, où les journaux, les événements et les mesures sont rassemblés à partir de flottes d'ordinateurs de bureau ou de serveurs. Kinesis Agent for Windows transmet les données collectées aux différents services AWS qui forment le reste du pipeline de données. Un pipeline de données a un objectif, par exemple celui de visualiser l'état d'un service spécifique en temps réel afin d'aider les ingénieurs à exploiter plus efficacement ce service. Un pipeline de données de l'état d'un service peut effectuer les opérations suivantes :

• Signaler des problèmes aux ingénieurs avant qu'ils n'affectent l'expérience des clients des services.

• Aider les ingénieurs à gérer efficacement le coût du service en fournissant les tendances de l'utilisation des ressources. Ces tendances leur permettent d'ajuster de façon appropriée les niveaux des ressources, ou même de mettre en œuvre des scénarios de mise à l'échelle automatique.

• Éclairer la cause première des problèmes qui sont signalés par les clients du service. Cela permet de résoudre plus rapidement ces problèmes et réduit les coûts de support.

Pour obtenir un exemple détaillé de la création d'un pipeline de données à l'aide de Kinesis Agent pour Windows, consultezDidacticiel : Diffuser les fichiers journaux JSON vers Amazon S3 à l'aide de Kinesis Agent pour Windows.

Sources

Agent Kinesis pour Windowssourcerassemble des journaux, des événements ou des mesures. Une source collecte un type spécifique de données à partir d'un producteur spécifique de ces données, en fonction du type de la source. Par exemple, le type DirectorySource collecte les fichiers journaux de répertoires spécifiques dans le système de fichiers. Si les données ne sont pas déjà structurées (comme dans le cas de certains types de fichiers journaux), une source peut être utile pour l'analyse de la représentation textuelle dans une certaine forme structurée. Chaque source correspond à unDéclaration de sourcedans Kinesis Agent pour Windowsappsettings.jsonFichier de configuration de. La déclaration de source fournit des détails essentiels pour configurer la source afin de l'adapter en fonction des exigences spécifiques de collecte des données. Les types de détails qui peuvent être configurés varient en fonction du type de source. Par exemple, le type de source DirectorySource nécessite de spécifier le répertoire dans lequel se trouvent les fichiers journaux.

Pour plus d'informations sur les types de source et les déclarations de source, consultez Déclarations de sources.

Sinks

Agent Kinesis pour Windowssinkprend les données collectées par une source Kinesis Agent pour Windows et les transmet à l'un des nombreux services AWS possibles qui forment le reste du pipeline de données. Chaque récepteur correspond à unDéclaration de récepteurdans Kinesis Agent pour Windowsappsettings.jsonFichier de configuration de. La déclaration de récepteur fournit des détails essentiels pour configurer le récepteur afin de l'adapter en fonction des exigences spécifiques de diffusion des données. Les types de détails qui peuvent être configurés varient en fonction du type de récepteur. Par exemple, certains types de récepteurs autorisent une déclaration de récepteur pour spécifier une sérialisation Format spécifique pour les données fournies. Lorsque cette option est spécifiée dans la déclaration de récepteur, la sérialisation des données collectées a lieu avant la diffusion des données vers le service AWS associé au récepteur.

Pour plus d'informations sur les types de récepteur et les déclarations de récepteur, consultez Déclarations de récepteurs.

Pipes

Agent Kinesis pour WindowsCanauxconnecte la sortie d'une source Kinesis Agent pour Windows à l'entrée d'un récepteur Kinesis Agent pour Windows. Il peut éventuellement transformer les données lors de leur passage dans le canal. Chaque canal correspond à une déclaration de canal spécifique dans l'Agent de Kinesis pour Windowsappsettings.jsonFichier de configuration de. La déclaration de canal fournit des détails essentiels pour configurer le récepteur, comme la source et le récepteur du canal.

Pour plus d'informations sur les types de canal et les déclarations de canal, consultez Déclarations de canal.