Was ist Amazon Kinesis Data Streams?

Sie können Amazon Kinesis Data Streams zum Erfassen und Verarbeiten großer Streams von Datensätzen in Echtzeit nutzen. Sie können Datenverarbeitungsanwendungen erstellen, die als Anwendungen von Kinesis Data Streams bezeichnet werden. Eine typische Anwendung von Kinesis Data Streams liest Daten aus einem Datenstrom als Datensätze. Diese Anwendungen können die Kinesis Client Library verwenden und auf EC2 Amazon-Instances ausgeführt werden. Sie können die verarbeiteten Datensätze an Dashboards senden, sie zum Erstellen von Warnmeldungen, zum dynamischen Ändern von Preis- und Werbestrategien nutzen oder Daten an verschiedene andere AWS -Services senden. Informationen zu den Features und Preisen von Kinesis Data Streams finden Sie unter Amazon Kinesis Data Streams.

Kinesis Data Streams ist zusammen mit Firehose, Kinesis Video Streams und Managed Service for Apache Flink Teil der Kinesis-Streaming-Datenplattform.

Weitere Informationen zu AWS Big-Data-Lösungen finden Sie unter Big Data auf. AWS Weitere Informationen zu AWS -Streaming-Datenlösungen finden Sie unter Was sind Streaming-Daten?.

Was kann ich mit Kinesis Data Streams machen?

Sie können Kinesis Data Streams für die schnelle und kontinuierliche Aufnahme und Aggregation von Daten verwenden. Der verwendete Datentyp kann Protokolldaten zur IT-Infrastruktur, Anwendungsprotokolle, Data-Feeds von sozialen Medien, Marktdaten-Feeds sowie Web-Clickstream-Daten einschließen. Da die Reaktionszeit für die Aufnahme und Verarbeitung der Daten in Echtzeit erfolgt, ist die Verarbeitung in der Regel ein leichtgewichtiger Prozess.

Es folgen typische Szenarien für den Einsatz von Kinesis Data Streams:

Beschleunigte Protokoll- und Datenfeedaufnahme und -verarbeitung

Produzenten können Daten direkt in einen Stream einleiten. Sie können beispielsweise System- und Anwendungsprotokolle übertragen. Diese stehen dann innerhalb von Sekunden für die Verarbeitung zur Verfügung. Dadurch wird verhindert, dass die Protokolldaten verloren gehen, wenn Front-End-Server oder Anwendungsserver abstürzen. Kinesis Data Streams unterstützt eine beschleunigte Datenfeedaufnahme, da die Daten auf den Servern nicht zu Stapeln zusammengefasst werden, bevor sie zur Aufnahme weitergeleitet werden.

Echtzeitmetriken und -berichte

Sie können Daten, die in Kinesis Data Streams erfasst wurden, für eine einfache Datenanalyse und Berichterstellung in Echtzeit verwenden. So kann Ihre Datenverarbeitungsanwendung beispielsweise während des Daten-Streamings an Metriken und Berichten für System- und Anwendungsprotokolle arbeiten und muss nicht auf einzelne Datenpakete warten.

Echtzeitdatenanalysen

Hier werden die Vorteile von Echtzeitdaten mit der parallelen Verarbeitung kombiniert. So können Sie Website-Clickstreams in Echtzeit verarbeiten und anschließend die Benutzerfreundlichkeit der Website mit verschiedenen Anwendungen von Kinesis Data Streams analysieren, die parallel ausgeführt werden.

Komplexe Stream-Verarbeitung

Sie können gerichtete azyklische Graphen (DAGs) von Kinesis Data Streams Streams-Anwendungen und Datenströmen erstellen. Dazu gehört in der Regel das Übertragen von Daten aus mehreren Anwendungen von Kinesis Data Streams in einen anderen Stream für die nachgeordnete Verarbeitung durch eine andere Anwendung von Kinesis Data Streams.

Vorteile der Verwendung von Kinesis Data Streams

Sie können mit Kinesis Data Streams eine Vielzahl von Problemen lösen, die beim Daten-Streaming auftreten. Typisch ist jedoch der Einsatz der Echtzeit-Aggregation von Daten gefolgt vom Laden der aggregierten Daten in ein Data Warehouse oder einen MapReduce-Cluster.

Die Daten werden in Kinesis-Daten-Streams geschrieben. Dies sorgt für Beständigkeit und Elastizität. Die Verzögerung zwischen dem Zeitpunkt, zu dem ein Datensatz in den Stream aufgenommen wird, und dem Zeitpunkt, zu dem er abgerufen werden kann (put-to-get Verzögerung), beträgt in der Regel weniger als 1 Sekunde. Eine Anwendung von Kinesis Data Streams kann somit die Daten aus dem Stream nahezu sofort nach dem Hinzufügen der Daten nutzen. Die von Kinesis Data Streams verwalteten Serviceaufgaben befreien Sie von dem Aufwand, der beim Erstellen und Ausführen einer Datenzufuhr-Pipeline betrieben werden muss. Sie können Streaming-Anwendungen des Typs Map-Reduce erstellen. Die Elastizität von Kinesis Data Streams erlaubt das Skalieren des Streams, damit Sie niemals Datensätze verlieren, bevor diese ablaufen.

Mehrere Anwendungen von Kinesis Data Streams können Daten aus einem Stream aufnehmen, sodass mehrere Aktionen, beispielsweise Archivierung und Verarbeitung, gleichzeitig und unabhängig voneinander durchgeführt werden können. So ist es unter anderem möglich, dass zwei Anwendungen Daten aus demselben Stream auslesen. Die erste Anwendung berechnet die Ausführung von Aggregaten und aktualisiert eine Amazon-DynamoDB-Tabelle und die zweite Anwendung komprimiert und archiviert Daten in einem Datenspeicher wie Amazon Simple Storage Service (Amazon S3). Die DynamoDB-Tabelle mit laufenden Aggregaten wird dann von einem Dashboard für Berichte gelesen. up-to-the-minute

Die Kinesis Client Library ermöglicht eine fehlertolerante Nutzung von Daten aus Datenströmen und stellt zudem skalierbaren Support für Anwendungen von Kinesis Data Streams bereit.

Zugehörige Services

Informationen zur Verwendung von EMR Amazon-Clustern zum direkten Lesen und Verarbeiten von Kinesis-Datenströmen finden Sie unter Kinesis Connector.