Microsoft Windows 向けの Amazon Kinesis エージェントの概念

Amazon Kinesis Agent for Microsoft Windows (Kinesis Agent for Windows) の主要な概念を理解することで、デスクトップおよびサーバーのフリートでデータを収集して、処理するためにデータパイプラインの残りの部分にストリーミングすることが容易になります。

データパイプラインの図は、以下のコンポーネントとプロセスを示しています。

1 つ以上の Kinesis Agent for Windows によって収集されるログファイル、イベント、およびメトリクスなどのアーティファクトがサーバーとデスクトップに含まれるsources。データは、オプションで変換できます。たとえば、フラットファイルのテキスト形式からオブジェクトへと変換できます。

データ (オブジェクトまたはテキスト形式) は、1 つ以上の Kinesis Agent for Windows に取り込まれます。パイプ。パイプは、1 つのソースと 1 つの Windows を接続します。sink。パイプでは、不要なデータをオプションで除外できます。

シンクでは、オブジェクトにパースされたデータを JSON または XML にオプションで変換できます。シンクは、Kinesis データストリーム、KinesKinesis Data Firehose e、または Amazon CloudWatch などの特定の ASW サービスにデータを送信します。

複数のパイプを使用することで、1 つのソースが複数のシンクに同じデータを送信できます (例として、図のパイプ F および G を参照)。複数のパイプを使用することで、異なるソースが 1 つのシンクにデータをストリーミングできます (例として、図のパイプ A、B、および C を参照)。複数のパイプを使用することで、複数のシンクから複数のソースにデータをストリーミングすることもできます。ソース、シンク、およびパイプにはタイプがあり、同じタイプのソース、シンク、またはパイプが複数存在できます。

ソース、シンク、およびパイプを宣言する設定ファイルの例については、「Windows 用 Kinesis エージェントの設定例」を参照してください。

データパイプライン

Aデータパイプラインは、アプリケーションとサービスのアラームの収集、処理、視覚化、および場合によっては生成に使用されます。Kinesis Agent for Windows は、開始時にデータパイプラインに適合します。ここでは、ログ、イベント、およびメトリックがデスクトップコンピューターまたはサーバーから収集されます。Kinesis Agent for Windows は、収集したデータをストリーミングして、データパイプラインの残りを形成するさまざまな ASAWS サービスにストリーミングします。データパイプラインには、特定のサービスの状態をリアルタイムで可視化するなどの目的があり、エンジニアがより効率的にサービスを運用するのに役立ちます。サービス状態データパイプラインは、以下のいずれかを実行します。

• これらの問題がサービスの顧客の体験に影響を与える前にエンジニアに警告します。

• リソースの使用状況の傾向を示すことで、エンジニアがサービスのコストを効率的に管理するのを支援します。これらの傾向を把握することで、エンジニアは適切なリソースレベルを調整したり、さらに自動スケーリングシナリオを実装できます。

• サービスの顧客によってレポートされる問題の根本原因を洞察します。これによって、これらの問題の解決時間が短縮され、サポート費用を削減できます。

Windows 用 Kinesis Agent を使用してデータパイプラインを構築するための詳しい手順については、チュートリアル: Windows 用 Kinesis エージェントを使用して JSON ログファイルを Amazon S3 にストリーミング。

Sources

Windows 向けKinesis エージェントsourceログ、イベント、またはメトリクスを収集します。ソースは、ソースのタイプに基づいて、そのデータの特定のプロデューサーから特定の種類のデータを収集します。たとえば、DirectorySource タイプは、ファイルシステムの特定のディレクトリからログファイルを収集します。データがまだ構造化されていない場合 (一部の種類のログファイルについて)、ソースは、一部の構造化された形式にテキスト表現をパースするのに役立つ場合があります。各ソースは、特定のソース宣言Windows 用 Kinesis エージェントappsettings.json設定ファイルを作成します。ソース宣言によって、特定のデータ収集要件に基づいてソースを調整するようにソースを設定するために必要な詳細情報が提供されます。設定可能な詳細の種類は、ソースタイプによって異なります。たとえば、DirectorySource ソースタイプの場合、ログファイルがあるディレクトリを指定する必要があります。

ソースタイプおよびソース宣言の詳細については、「ソース宣言」を参照してください。

Sinks

Windows 向けKinesis エージェントsinkは、Kinesis Agent for Windows ソースによってデータを収集させ、データパイプラインの残りを形成する複数の可能な ASAWS サービスのいずれかにそのデータをストリーミングします。各シンクは、特定のシンク宣言Windows 用 Kinesis エージェントappsettings.json設定ファイルを作成します。シンク宣言によって、特定のデータストリーミング要件に基づいてシンクを調整するようにシンクを設定するために必要な詳細情報が提供されます。設定可能な詳細の種類は、シンクタイプによって異なります。たとえば、あるシンクタイプでは、シンク宣言によって、そのタイプに提供されたデータの特定のシリアル化 Format を指定できます。シンク宣言でこのオプションが指定されている場合、シンクに関連付けられている AWS サービスにデータをストリーミングする前に、収集されたデータのシリアル化が実行されます。

シンクタイプとシンク宣言の詳細については、「シンク宣言」を参照してください。

Pipes

Windows 向けKinesis エージェントパイプWindows 用 Kinesis エージェントのソースの出力と Windows 用シンクの入力を接続します。オプションで、データがパイプを経由して移動する際にデータを変換できます。各パイプは、Windows 用の Kinesis エージェントの特定のパイプ宣言に対応します。appsettings.json設定ファイルを作成します。パイプ宣言では、パイプのソースおよびシンクなど、シンクを設定する際に必要な詳細情報が提供されます。

パイプタイプとパイプ宣言の詳細については、「パイプ宣言」を参照してください。