Amazon Kinesis Data Streams とは

Amazon Kinesis Data Streams を使用して、大規模な収集と処理を行うことができます。ストリームのデータレコードをリアルタイムで記録します。「」と呼ばれるデータ処理アプリケーションを作成することができます。Kinesis Data Streams アプリケーション。一般的な Kinesis Data Streams アプリケーションは、データを読み取ります。データストリームデータレコードとして。これらのアプリケーションは Kinesis Client Library を使用することができ、Amazon EC2 インスタンスで実行できます。処理されたレコードは、ダッシュボードに送信してアラートの生成や、料金設定と広告戦略の動的変更に使用できるほか、他のさまざまなデータにも使用できます。AWSのサービス。Kinesis Data Streams の機能と料金については、「」を参照してください。Amazon Kinesis Data Streams。

Kinesis Data Streams は Kinesis ストリーミングデータプラットフォームの一部です。Kinesis Data Firehose,Kinesis ビデオストリーム, およびKinesis Data Analytics。

AWS ビッグデータソリューションの詳細については、「AWS でのビッグデータ」を参照してください。の詳細AWSストリーミングデータソリューションについては、「」を参照してください。ストリーミングデータって何ですか。

Kinesis Data Streams でどのようなことができますか?

Kinesis Data Streams を使用すると、高速かつ継続的にデータ取り込みと集約を行うことができます。使用されるデータには、IT インフラストラクチャのログデータ、アプリケーションのログ、ソーシャルメディア、マーケットデータフィード、ウェブのクリックストリームデータなどの種類があります。データの取り込みと処理の応答時間はリアルタイムであるため、処理は一般的に軽量です。

Kinesis Data Streams を使用する一般的なシナリオを次に示します。

ログとデータフィードの取り込みと処理の高速化

プロデューサーからストリームにデータを直接プッシュさせることができます。たとえば、システムとアプリケーションのログをプッシュすると、数秒で処理可能になります。これにより、フロントエンドサーバーやアプリケーションサーバーに障害が発生した場合に、ログデータが失われることを防止できます。Kinesis Data Streams は、取り込み用にデータを送信する前にサーバーでデータをバッチ処理しないように、データフィードの取り込みが加速されます。

リアルタイムのメトリクスとレポート作成

Kinesis Data Streams に収集されたデータを使用して、リアルタイムのデータ分析とレポート作成を簡単に行うことができます。たとえば、データ処理アプリケーションは、バッチデータを受け取るまで待つのではなく、データのストリーミング中にシステムおよびアプリケーションのログに関するメトリクスやレポート作成を操作できます。

リアルタイムデータ分析

これにより、並行処理の能力がリアルタイムデータの価値と同時に得られます。たとえば、ウェブサイトのクリックストリームをリアルタイムで処理し、さらに並行して実行される複数の異なる Kinesis Data Streams アプリケーションを使用して、サイトの使いやすさの関与を分析します。

複雑なストリーム処理

Kinesis Data Streams アプリケーションとデータストリームの有向非循環グラフ (DAG) を作成することができます。通常、これには、複数の Kinesis Data Streams アプリケーションから別のストリームにデータを出力し、別の Kinesis Data Streams アプリケーションによって下流処理が行われるようにします。

Kinesis Data Streams を使用する利点

Kinesis Data Streams は、さまざまなデータストリーミングの問題解決に使用できますが、一般的にデータのリアルタイム集計にも使用できます。集計データはその後でデータウェアハウスや MapReduce クラスターに読み込むことができます。

データは Kinesis Data Streams に取り込むことができるため、耐久性と伸縮性が確保されます。レコードがストリームに取り込まれてから取得されるまでの遅延 (put-to-getdelay) は通常、1 秒未満です。つまり、Kinesis Data Streams アプリケーションは、データが追加されると同時にストリームからデータを消費し始めることができます。Kinesis Data Streams は、マネージド型サービスであるため、データ取り込みパイプラインの作成と実行にかかわる運用負荷が軽くなります。MapReduce タイプのストリーミングアプリケーションを作成することができます。Kinesis Data Streams は伸縮性に優れており、ストリームをスケールアップまたはスケールダウンできるため、有効期限が切れる前にデータレコードがなくなることはありません。

複数の Kinesis Data Streams アプリケーションを使用して、ストリームからデータを消費できるため、アーカイブや処理のような複数のアクションを同時に独立して実行できます。たとえば、2 つのアプリケーションが、同じストリームからデータを読み取ることができます。最初のアプリケーションは、実行中の集計を計算して Amazon DynamoDB テーブルを更新します。2 番目のアプリケーションは、データを圧縮して Amazon Simple Storage Service (Amazon S3) などのデータストアにアーカイブします。集計実行中の DynamoDB テーブルは、その後、次のダッシュボードによって読み取られます。up-to-the分間のレポート。

Kinesis Client Library を使用すると、耐障害性を維持しながらストリームからデータを消費することができ、Kinesis Data Streams アプリケーションに対するスケーリングも可能になります。

関連 サービス

Amazon EMR クラスターを使用して Kinesis Data Streams を直接読み取って処理する方法については、「」を参照してください。Kinesis コネクタ。