Amazon Kinesis Agent per Microsoft Windows Concetti

Comprendere i concetti fondamentali di Amazon Kinesis Agent per Microsoft Windows (Kinesis Agent per Windows) può semplificare la trasmissione e la raccolta di dati su desktop e parchi di server al resto dei componenti della pipeline di dati per l'elaborazione.

Questo diagramma di una pipeline di dati illustra i seguenti componenti e processi:

Server e desktop dispongono di elementi quali file di registro, eventi e metriche raccolti da uno o più Kinesis Agent per Windowssources: . I dati possono essere facoltativamente trasformati da, per esempio, un formato di testo di un file flat in un oggetto.

I dati (in forma oggetto o testo) possono quindi fluire in uno o più Kinesis Agent per WindowsPipe: . Una pipe collega un'origine a un agente Kinesis per Windowssink: . La pipe può filtrare i dati non necessari.

Un sink può trasformare i dati analizzati in oggetti in formato JSON o XML. Il sink invia i dati a un servizio AWS specifico, ad esempio Kinesis Data Streams, Kinesis Data Firehose o Amazon CloudWatch.

Utilizzando più pipe, una singola sorgente può inviare gli stessi dati a più sink (per esempio, guarda le pipe F e G nel diagramma). Utilizzando più pipe, più sorgenti possono inviare i dati a un unico sink (per esempio, guarda le pipe A, B e C nel diagramma). È inoltre possibile utilizzare più pipe per lo streaming dei dati da più sink a più origini. Origini, sink e pipe hanno i tipi e non ci può essere più di una sorgente, un sink o una pipe dello stesso tipo.

Per esempi di file di configurazione che dichiarano origini, pipe e sink, consulta Esempi di configurazione di Kinesis Agent per Windows.

Pipeline di dati

AData Pipelineviene utilizzato per raccogliere, elaborare, visualizzare ed eventualmente generare allarmi per applicazioni e servizi. Kinesis Agent per Windows si inserisce all'inizio nelle pipeline di dati, in cui registri, eventi e metriche vengono raccolti da flotte di computer desktop o server. Kinesis Agent per Windows trasmette in streaming i dati raccolti ai vari servizi AWS che formano il resto pipeline di dati. Una pipeline di dati ha uno scopo, ad esempio visualizzare lo stato di un determinato servizio in tempo reale per aiutare gli ingegneri a utilizzare il servizio in modo più efficiente. Una pipeline di dati dello stato del servizio può eseguire una qualsiasi delle operazioni seguenti:

• Avvisare i tecnici di problemi prima che questi problemi influenzino l'esperienza per i clienti dei servizi.

• Aiutare i tecnici a gestire in modo efficiente i costi del servizio mostrando i trend di utilizzo delle risorse. Questi trend consentono di regolare i livelli di risorse in modo appropriato o anche di implementare scenari di scalabilità automatica.

• Approfondire la causa principale dei problemi rilevati dai clienti del servizio. Questa operazione consente di velocizzare la risoluzione dei problemi e di ridurre i costi di supporto.

Per un esempio dettagliato di come costruire una pipeline di dati utilizzando Kinesis Agent per Windows, consultaTutorial: Trasmetti file di registro JSON ad Amazon S3 utilizzando Kinesis Agent per Windows: .

Sources

Un agente Kinesis per Windowssource (origine)raccoglie registri, eventi o metriche. Una sorgente raccoglie un determinato tipo di dati da un determinato produttore di tali dati in base al tipo di origine. Ad esempio, il tipo DirectorySource raccoglie i file di log da directory specifiche nel file system. Se i dati non sono già strutturati (come con alcuni tipi di file di log), un'origine può essere utile per analizzare la rappresentazione testuale in alcuni moduli strutturati. Ogni sorgente corrisponde a un determinatoDichiarazione di originenell'agente Kinesis per Windowsappsettings.jsonFile di configurazione. La dichiarazione di origine fornisce i dettagli essenziali per la configurazione dell'origine e la sua personalizzazione in base ai requisiti di raccolta dei dati specifici. I tipi di dettagli che possono essere configurati variano a seconda del tipo di origine. Ad esempio, il tipo di origine DirectorySource richiede le specifiche della directory in cui si trovano i file di log.

Per ulteriori informazioni sui tipi e sulle dichiarazioni delle origini, consulta Dichiarazioni delle origini.

Sinks

Un agente Kinesis per WindowssinkComprende i dati raccolti da un'origine Kinesis Agent per Windows e trasmette in streaming tali dati a uno dei diversi servizi AWS che formano il resto pipeline di dati. Ogni sink corrisponde a un particolareDichiarazione dei sinknell'agente Kinesis per Windowsappsettings.jsonFile di configurazione. La dichiarazione del sink fornisce i dettagli essenziali per la configurazione del sink e la sua personalizzazione in base a requisiti di streaming dei dati specifici. I tipi di dettagli che possono essere configurati variano a seconda del tipo di sink. Ad esempio, alcuni tipi di sink consentono una dichiarazione di sink per specificare una determinata serializzazione Format per i dati forniti. Quando questa opzione viene specificata nella dichiarazione di sink, la serializzazione dei dati raccolti si verifica prima dello streaming dei dati al servizio AWS associato al sink.

Per ulteriori informazioni sui tipi e sulle dichiarazioni dei sink, consulta Dichiarazioni dei sink.

Pipes

Un agente Kinesis per WindowsPipecollega l'output di un'origine Kinesis Agent per Windows all'input di un sink Kinesis Agent per Windows. È possibile trasformare i dati mentre vengono trasmessi attraverso la pipe. Ogni pipe corrisponde a una determinata dichiarazione di pipe nell'agente Kinesis per Windowsappsettings.jsonFile di configurazione. La dichiarazione di pipe fornisce i dettagli essenziali per la configurazione del sink, ad esempio l'origine e il sink per la pipe.

Per ulteriori informazioni sui tipi e sulle dichiarazioni delle pipe, consulta Dichiarazioni delle pipe.