Nettoyage des ressources

Étant donné que vous payez pour utiliser le flux de données Kinesis, veillez à le supprimer, ainsi que la table Amazon DynamoDB correspondante, lorsque vous avez terminé. Des frais nominaux s'appliquent sur un flux actif même lorsque vous n'envoyez ni ne recevez d'enregistrements. Cela provient du fait qu'un flux actif utilise des ressources en écoutant en permanence les demandes et enregistrements entrants pour obtenir des enregistrements.

Pour supprimer le flux et la table

1. Fermez tous les producteurs et consommateurs que vous pourriez avoir encore en activité.

2. Ouvrez la console Kinesis à l'adresse /kinesis. https://console.aws.amazon.com

3. Choisissez le flux que vous avez créé pour cette application (StockTradeStream).

4. Choisissez Supprimer flux.

5. Ouvrez la console DynamoDB à l'adresse. https://console.aws.amazon.com/dynamodb/

6. Supprimez la table StockTradesProcessor.

Récapitulatif

Le traitement d'une grande quantité de données en temps quasi réel ne nécessite pas l'écriture de code compliqué ni le développement d'une énorme infrastructure. C'est aussi simple que la logique d'écriture pour traiter une petite quantité de données (comme l'écritureprocessRecord(Record)), tout en utilisant Kinesis Data Streams pour l'adapter à une grande quantité de données en streaming. Vous n'avez pas à vous soucier de la mise à l'échelle de votre traitement, car Kinesis Data Streams s'en charge pour vous. Tout ce que vous avez à faire est d'envoyer vos enregistrements en flux continu à Kinesis Data Streams et d'écrire la logique pour traiter chaque nouvel enregistrement reçu.

Voici quelques améliorations potentielles pour cette application.

Regroupement à travers toutes les partitions

Actuellement, vous obtenez des statistiques résultant de l'agrégation des enregistrements de données reçues par un seul programme exécutant à partir d'une seule partition. (Une partition ne peut pas être traitée par plus d'une application de travail dans une seule application en même temps.) Bien entendu, lorsque vous mettez à l'échelle et que vous avez plusieurs partitions, vous pouvez regrouper toutes les partitions. Vous pouvez y procéder avec une architecture pipeline où la sortie de chaque application de travail alimente un autre flux comportant une seule partition, qui est traité par une application de travail qui regroupe les sorties de la première phase. Etant donné que les données de la première phase sont limitées (un échantillon par minute par partition), elles sont facilement gérées par une seule partition.

Mise à l'échelle du traitement

Lorsque le flux évolue vers plusieurs partitions (suite à l'envoi de données par plusieurs applications producteur), la façon de faire évoluer le traitement consiste à ajouter des applications de travail. Vous pouvez exécuter les travailleurs dans des EC2 instances Amazon et utiliser des groupes Auto Scaling.

Utilisation de connecteurs vers Amazon S3/DynamoDB/Amazon Redshift/Storm

Lorsqu'un flux est traité en continu, sa sortie peut être envoyée vers d'autres destinations. AWS fournit des connecteurs permettant d'intégrer Kinesis Data Streams à d' AWS autres services et outils tiers.