Présentation de Amazon Kinesis Data Streams - Amazon Kinesis Data Streams

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Présentation de Amazon Kinesis Data Streams

Vous pouvez utiliser Amazon Kinesis Data Streams pour collecter et traiter des données volumineusesFluxdes enregistrements de données en temps réel. Vous pouvez créer des applications de traitement de données appeléesApplications Kinesis Data Streams. Une application Kinesis Data Streams lit les données à partir d'unflux de donnéesen tant qu'enregistrements de données. Ces applications peuvent utiliser la bibliothèque client Kinesis et s'exécuter sur les instances Amazon EC2. Vous pouvez envoyer les enregistrements traités vers des tableaux de bord, les utiliser pour générer des alertes, modifier dynamiquement les stratégies tarifaires et publicitaires, ou envoyer des données à différents autresAWSServices . Pour plus d'informations sur les fonctionnalités et la tarification de Kinesis Data Streams, consultezAmazon Kinesis Data Streams.

Kinesis Data Streams fait partie de la plate-forme Kinesis Data Streams, avecKinesis Data Firehose,Kinesis Video Streams, etKinesis Data Analytics.

Pour plus d'informations surAWSLes solutions Big Data, consultezBig Data surAWS. Pour plus d'informations surAWSSolutions de données de diffusion, consultezQu'est-ce que les données en streaming ?.

Que puis-je faire avec Kinesis Data Streams ?

Vous pouvez utiliser Kinesis Data Streams pour une absorption et un regroupement de données rapides et en continu. Le type de données utilisé peut inclure des données de journaux d'infrastructure informatique, des journaux d'applications, des réseaux sociaux, des flux de données du marché et des données de flux de clics web. Comme le temps de réponse pour la récupération et le traitement des données est en temps réel, le traitement est généralement léger.

Voici des scénarios typiques d'utilisation des flux de Kinesis Data Streams :

Extraction et traitement accélérés des journaux et des flux de données

Les applications producteur peuvent envoyer leurs données directement dans un flux. Par exemple, envoyez des journaux système et d'application ; ils sont alors disponibles pour le traitement en quelques secondes. Cela empêche la perte de données de journaux si la fonctionnalité frontale ou serveur d'application échouée. Kinesis Data Streams permet une consommation de flux de données accélérée parce que vous n'avez pas les données sur les serveurs de traitement par lots avant de soumettre à la consommation.

Métriques et création de rapports en temps réel

Vous pouvez utiliser les données collectées dans Kinesis Data Streams pour une analyse de données simple et une création de rapports en temps réel. Par exemple, votre application de traitement de données peut générer des métriques et des rapports à partir de journaux d'applications et d'événements système dès que les données ont été transmises, au lieu d'attendre qu'elles soient envoyées par lots de données.

Analyse des données en temps réel

Cette analyse combine la puissance du traitement parallèle avec la valeur des données en temps réel. Par exemple, traiter les flux de clics de site Web en temps réel, puis analyser la facilité d'utilisation du site à l'aide de plusieurs applications Kinesis Data Streams différentes exécutées en parallèle.

Traitement des flux complexes

Vous pouvez créer des DAG (Directed Acyclic Graphs, graphes acycliques dirigés) de flux de données et d'applications Kinesis Data Streams. Cela implique généralement de placer des données issues d'applications Kinesis Data Streams dans un autre flux pour être traitées en aval par une application Kinesis Data Streams différente.

Avantages de l'utilisation des Kinesis Data Streams

Vous pouvez utiliser Kinesis Data Streams pour résoudre différents problèmes de données diffusées en continu, mais il sert couramment à regrouper des données en temps réel puis à charger ces données regroupées dans un entrepôt de données ou un cluster map-reduce.

Les données sont placées dans des flux de données Kinesis, ce qui garantit la durabilité et l'élasticité. Le délai entre le moment où un enregistrement est placé dans le flux et le moment où il peut être récupéré (délai put-to-get) est généralement inférieur à 1 seconde. En d'autres termes, une application Kinesis Data Streams peut commencer à consommer les données présentes dans le flux presque immédiatement après l'ajout de ces données. L'aspect de service géré de Kinesis Data Streams vous libère de la charge opérationnelle de création et d'exécution d'un pipeline d'apport de données. Vous pouvez créer des applications de streaming de type carte de réduction. L'élasticité de Kinesis Data Streams vous permet de monter ou descendre en puissance afin de ne jamais perdre d'enregistrements de données avant leur expiration.

Plusieurs applications Kinesis Data Streams peuvent consommer les données d'un flux afin que différentes actions comme l'archivage et le traitement soient effectuées simultanément et indépendamment. Par exemple, deux applications peuvent lire des données à partir du même flux. La première application calcule les regroupements en cours et met à jour une table Amazon DynamoDB, et la seconde application compresse les données et les archive dans un magasin de données comme Amazon Simple Storage Service (Amazon S3). La table DynamoDB avec les regroupements en cours est ensuite lue par un tableau de bord pour générer des rapports actuels.

La bibliothèque client Kinesis permet une consommation de données tolérante aux pannes à partir des flux et assure la prise en charge de la mise à l'échelle pour les applications Kinesis Data Streams.

Pour plus d'informations sur l'utilisation des clusters Amazon EMR pour lire et traiter directement les flux de données Kinesis, consultezConnecteur Kinesis.