Überwachung des Amazon Kinesis Data Streams Service mit Amazon CloudWatch

Amazon Kinesis Data Streams und Amazon CloudWatch sind integriert, sodass Sie CloudWatch Metriken für Ihre Kinesis-Datenstreams sammeln, anzeigen und analysieren können. Um beispielsweise die Shard-Nutzung zu verfolgen, können Sie die Kennzahlen IncomingBytes und OutgoingBytes überwachen und mit der Anzahl der Shards im Stream vergleichen.

Die Metriken, die Sie für Ihre Streams konfigurieren, werden automatisch erfasst und in CloudWatch jede Minute übertragen. Die Metriken werden für zwei Wochen archiviert. Nach Ablauf dieses Zeitraums werden die Daten verworfen.

Die folgende Tabelle beschreibt die Überwachung von Kinesis-Datenströmen auf grundlegender Stream- und erweiterter Shard-Ebene.

Typ	Beschreibung
Grundlegend (Stream-Ebene)	Daten auf Stream-Ebene werden automatisch und kostenlos jede Minute gesendet.
Erweitert (Shard-Ebene)	Daten auf Shard-Ebene werden für zusätzliche Kosten jede Minute gesendet. Um diese Datenebene zu erhalten, müssen Sie sie speziell für den Stream aktivieren, der den EnableEnhancedMonitoringVorgang verwendet. Informationen zu den Preisen finden Sie auf der CloudWatch Amazon-Produktseite.

Amazon Kinesis Data Streams – Metriken und Dimensionen

Kinesis Data Streams sendet Metriken CloudWatch auf zwei Ebenen: auf Stream-Ebene und optional auf Shard-Ebene. Metriken auf Stream-Ebene eignen sich unter normalen Bedingungen für die häufigsten Überwachungsanwendungsfälle. Metriken auf Shard-Ebene beziehen sich auf bestimmte Überwachungsaufgaben, die sich normalerweise auf die Fehlerbehebung beziehen, und werden mithilfe des Vorgangs aktiviert. EnableEnhancedMonitoring

Eine Erläuterung der CloudWatch anhand von Metriken gesammelten Statistiken finden Sie unter CloudWatch Statistiken im CloudWatch Amazon-Benutzerhandbuch.

Grundlegende Stream-Metriken

Der AWS/Kinesis-Namespace enthält die folgenden Metriken auf Stream-Ebene.

Kinesis Data Streams sendet diese Metriken auf Stream-Ebene an CloudWatch jede Minute. Diese Metriken sind jederzeit verfügbar:

Metrik	Beschreibung
GetRecords.Bytes	Anzahl der Byte, die im angegebenen Zeitraum vom Kinesis-Stream abgerufen wurden. Die Statistiken Minimum, Maximum und Durchschnitt geben die Byte in einem einzelnen GetRecords-Vorgang für den Stream im angegebenen Zeitraum an. Metrikname auf Shard-Ebene: OutgoingBytes Abmessungen: StreamName Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Byte
GetRecords.IteratorAge	Diese Metrik ist veraltet. Verwenden Sie GetRecords.IteratorAgeMilliseconds.
GetRecords.IteratorAgeMilliseconds	Alter des letzten Datensatzes in allen GetRecords-Aufrufen an einen Kinesis-Stream, gemessen im angegebenen Zeitraum. Das Alter ist die Differenz zwischen der aktuellen Zeit und der Zeit, zu der der letzte Datensatz des GetRecords-Aufrufs in den Stream geschrieben wurde. Die Statistiken Minimum und Maximum können zum Nachverfolgen des Fortschritts von Kinesis-Verbraucheranwendungen verwendet werden. Wenn der Wert null beträgt, sind die gelesenen Datensätze vollständig mit dem Stream aktualisiert. Metrikname auf Shard-Ebene: IteratorAgeMilliseconds Abmessungen: StreamName Gültige Statistiken: Minimum, Maximum, Durchschnitt, Stichproben Einheiten: Millisekunden
GetRecords.Latency	Die Dauer pro GetRecords-Vorgang, gemessen im angegebenen Zeitraum. Abmessungen: StreamName Statistiken: Minimum, Maximum, Durchschnitt Einheiten: Millisekunden
GetRecords.Records	Anzahl der Datensätze, die im angegebenen Zeitraum vom Shard abgerufen wurden. Die Statistiken Minimum, Maximum und Durchschnitt geben die Datensätze in einem einzelnen GetRecords-Vorgang für den Stream im angegebenen Zeitraum an. Metrikname auf Shard-Ebene: OutgoingRecords Abmessungen: StreamName Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl
GetRecords.Success	Anzahl der erfolgreichen GetRecords-Vorgänge pro Stream im angegebenen Zeitraum. Abmessungen: StreamName Gültige Statistiken: Durchschnitt, Summe, Stichproben Einheiten: Anzahl
IncomingBytes	Anzahl der Byte, die im angegebenen Zeitraum erfolgreich an den Kinesis-Stream übertragen wurden. Diese Metrik enthält die Byte von PutRecord- und PutRecords-Vorgängen. Die Statistiken Minimum, Maximum und Durchschnitt geben die Byte in einem einzelnen PUT-Vorgang für den Stream im angegebenen Zeitraum an. Metrikname auf Shard-Ebene: IncomingBytes Abmessungen: StreamName Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Byte
IncomingRecords	Anzahl der Datensätze, die im angegebenen Zeitraum erfolgreich an den Kinesis-Stream übertragen wurden. Diese Metrik enthält die Anzahlen der Datensätze von PutRecord- und PutRecords-Vorgängen. Die Statistiken Minimum, Maximum und Durchschnitt geben die Datensätze in einem einzelnen PUT-Vorgang für den Stream im angegebenen Zeitraum an. Metrikname auf Shard-Ebene: IncomingRecords Abmessungen: StreamName Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl
PutRecord.Bytes	Anzahl der Bytes, die im angegebenen Zeitraum mithilfe des Vorgangs PutRecord an den Kinesis-Stream übertragen wurden. Abmessungen: StreamName Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Byte
PutRecord.Latency	Die Dauer pro PutRecord-Vorgang, gemessen im angegebenen Zeitraum. Abmessungen: StreamName Statistiken: Minimum, Maximum, Durchschnitt Einheiten: Millisekunden
PutRecord.Success	Anzahl der erfolgreichen PutRecord-Vorgänge pro Kinesis-Stream im angegebenen Zeitraum. Der Durchschnitt gibt den Prozentsatz der erfolgreichen Schreibvorgänge in einem Stream an. Abmessungen: StreamName Gültige Statistiken: Durchschnitt, Summe, Stichproben Einheiten: Anzahl
PutRecords.Bytes	Anzahl der Bytes, die im angegebenen Zeitraum mithilfe des Vorgangs PutRecords an den Kinesis-Stream übertragen wurden. Abmessungen: StreamName Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Byte
PutRecords.Latency	Die Dauer pro PutRecords-Vorgang, gemessen im angegebenen Zeitraum. Abmessungen: StreamName Statistiken: Minimum, Maximum, Durchschnitt Einheiten: Millisekunden
PutRecords.Records	Diese Metrik ist veraltet. Verwenden Sie PutRecords.SuccessfulRecords. Abmessungen: StreamName Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl
PutRecords.Success	Anzahl der PutRecords-Vorgänge pro Kinesis-Stream mit mindestens einem erfolgreichen Datensatz, gemessenen im angegebenen Zeitraum. Abmessungen: StreamName Gültige Statistiken: Durchschnitt, Summe, Stichproben Einheiten: Anzahl
PutRecords.TotalRecords	Die gesamte Anzahl der Datensätze in einem PutRecords-Vorgang pro Kinesis-Datenstrom, gemessenen im angegebenen Zeitraum. Abmessungen: StreamName Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl
PutRecords.SuccessfulRecords	Anzahl der erfolgreichen Datensätze in einem PutRecords-Vorgang pro Kinesis-Datenstrom, gemessenen im angegebenen Zeitraum. Abmessungen: StreamName Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl
PutRecords.FailedRecords	Anzahl der Datensätze, die aufgrund von internen Fehlern in einem PutRecords-Vorgang pro Kinesis-Datenstrom zurückgewiesen wurden, gemessen über den angegebenen Zeitraum. Gelegentliche interne Fehler sind zu erwarten und sollten erneut versucht werden. Abmessungen: StreamName Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl
PutRecords.ThrottledRecords	Anzahl der Datensätze, die aufgrund von Drosselung in einem PutRecords-Vorgang pro Kinesis-Datenstrom zurückgewiesen wurden, gemessen über den angegebenen Zeitraum. Abmessungen: StreamName Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl
ReadProvisionedThroughputExceeded	Anzahl von GetRecords-Aufrufen, die im angegebenen Zeitraum für den Stream gedrosselt wurden. Die am häufigsten verwendete Statistik für diese Metrik ist Durchschnitt. Wenn die Statistik Minimum den Wert 1 hat, wurden im angegebenen Zeitraum sämtliche Datensätze für den Stream gedrosselt. Wenn die Statistik Maximum den Wert 0 (null) hat, wurden im angegebenen Zeitraum keine Datensätze für den Stream gedrosselt. Metrikname auf Shard-Ebene: ReadProvisionedThroughputExceeded Abmessungen: StreamName Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl
SubscribeToShard.RateExceeded	Diese Metrik wird ausgelöst, wenn ein neuer Abonnementversuch fehlschlägt, da bereits ein aktives Abonnement von demselben Verbraucher existiert, oder wenn Sie die Anzahl der Aufrufe pro Sekunde überschreiten, die für diese Operation zulässig ist. Abmessungen: StreamName, ConsumerName
SubscribeToShard.Success	Diese Metrik zeichnet auf, ob das SubscribeToShard Abonnement erfolgreich eingerichtet wurde. Das Abonnement besteht nur für maximal 5 Minuten. Aus diesem Grund wird diese Metrik mindestens einmal alle 5 Minuten ausgegeben. Abmessungen: StreamName, ConsumerName
SubscribeToShardEvent.Bytes	Anzahl der Bytes, die im angegebenen Zeitraum vom Shard empfangen wurden. Die Statistiken Minimum, Maximum und Durchschnitt geben die Bytes an, die in einem einzelnen Ereignis für den angegebenen Zeitraum veröffentlicht wurden. Metrikname auf Shard-Ebene: OutgoingBytes Abmessungen: StreamName, ConsumerName Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Byte
SubscribeToShardEvent.MillisBehindLatest	Der Unterschied zwischen der aktuellen Uhrzeit und dem Zeitpunkt, an dem der letzte Datensatz des SubscribeToShard Ereignisses in den Stream geschrieben wurde. Abmessungen: StreamName, ConsumerName Gültige Statistiken: Minimum, Maximum, Durchschnitt, Stichproben Einheiten: Millisekunden
SubscribeToShardEvent.Records	Anzahl der Datensätze, die im angegebenen Zeitraum vom Shard empfangen wurden. Die Statistiken Minimum, Maximum und Durchschnitt geben die Datensätze in einem einzelnen Ereignis für den angegebenen Zeitraum an. Metrikname auf Shard-Ebene: OutgoingRecords Abmessungen: StreamName, ConsumerName Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl
SubscribeToShardEvent.Success	Diese Metrik wird jedes Mal ausgegeben, wenn ein Ereignis erfolgreich veröffentlicht wird. Es wird nur ausgegeben, wenn ein aktives Abonnement besteht. Abmessungen: StreamName, ConsumerName Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl
WriteProvisionedThroughputExceeded	Anzahl der Datensätze, die im angegebenen Zeitraum infolge der Drosselung für den Stream abgelehnt wurden. Diese Metrik enthält die Drosselung infolge von PutRecord- und PutRecords-Vorgängen. Die am häufigsten verwendete Statistik für diese Metrik ist Durchschnitt. Wenn die Statistik Minimum einen Wert ungleich null hat, wurden im angegebenen Zeitraum Datensätze für den Stream gedrosselt. Wenn die Statistik Maximum den Wert 0 (null) hat, wurden im angegebenen Zeitraum keine Datensätze für den Stream gedrosselt. Metrikname auf Shard-Ebene: WriteProvisionedThroughputExceeded Abmessungen: StreamName Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl

Erweiterte Metriken auf Shard-Ebene:

Der AWS/Kinesis-Namespace enthält die folgenden Metriken auf Shard-Ebene.

Kinesis sendet die folgenden Shard-Level-Metriken an CloudWatch jede Minute. Jede Metrikdimension erstellt eine CloudWatch Metrik und führt ungefähr 43.200 PutMetricData API-Aufrufe pro Monat durch. Diese Metriken sind nicht standardmäßig aktiviert. Von Kinesis übermittelte erweiterte Metriken sind kostenpflichtig. Weitere Informationen finden Sie unter Amazon CloudWatch Pricing unter der Überschrift Amazon CloudWatch Custom Metrics. Die Kosten fallen pro Shard pro Metrik pro Monat an.

Metrik	Beschreibung
IncomingBytes	Anzahl der Byte, die im angegebenen Zeitraum erfolgreich an den Shard übertragen wurden. Diese Metrik enthält die Byte von PutRecord- und PutRecords-Vorgängen. Die Statistiken Minimum, Maximum und Durchschnitt geben die Byte in einem einzelnen PUT-Vorgang für den Shard im angegebenen Zeitraum an. Metrikname auf Stream-Ebene: IncomingBytes Abmessungen: StreamName, ShardId Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Byte
IncomingRecords	Anzahl der Datensätze, die im angegebenen Zeitraum erfolgreich an den Shard übertragen wurden. Diese Metrik enthält die Anzahlen der Datensätze von PutRecord- und PutRecords-Vorgängen. Die Statistiken Minimum, Maximum und Durchschnitt geben die Datensätze in einem einzelnen PUT-Vorgang für den Shard im angegebenen Zeitraum an. Metrikname auf Stream-Ebene: IncomingRecords Abmessungen: StreamName, ShardId Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl
IteratorAgeMilliseconds	Alter des letzten Datensatzes in allen GetRecords-Aufrufen an einen Shard, gemessen im angegebenen Zeitraum. Das Alter ist die Differenz zwischen der aktuellen Zeit und der Zeit, zu der der letzte Datensatz des GetRecords-Aufrufs in den Stream geschrieben wurde. Die Statistiken Minimum und Maximum können zum Nachverfolgen des Fortschritts von Kinesis-Verbraucheranwendungen verwendet werden. Wenn der Wert 0 (null) beträgt, sind die gelesenen Datensätze vollständig mit dem Stream aktualisiert. Metrikname auf Stream-Ebene: GetRecords.IteratorAgeMilliseconds Abmessungen: StreamName, ShardId Gültige Statistiken: Minimum, Maximum, Durchschnitt, Stichproben Einheiten: Millisekunden
OutgoingBytes	Anzahl der Byte, die im angegebenen Zeitraum vom Shard abgerufen wurden. Die Statistiken Minimum, Maximum und Durchschnitt geben die Bytes an, die für den Shard im angegebenen Zeitraum in einem einzelnen GetRecords-Vorgang zurückgegeben oder bei einem einzelnen SubscribeToShard-Ereignis veröffentlicht wurden. Metrikname auf Stream-Ebene: GetRecords.Bytes Abmessungen: StreamName, ShardId Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Byte
OutgoingRecords	Anzahl der Datensätze, die im angegebenen Zeitraum vom Shard abgerufen wurden. Die Statistiken Minimum, Maximum und Durchschnitt geben die Datensätze an, die für den Shard im angegebenen Zeitraum in einem einzelnen GetRecords-Vorgang zurückgegeben oder bei einem einzelnen SubscribeToShard-Ereignis veröffentlicht wurden. Metrikname auf Stream-Ebene: GetRecords.Records Abmessungen: StreamName, ShardId Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl
ReadProvisionedThroughputExceeded	Anzahl von GetRecords-Aufrufen, die im angegebenen Zeitraum für den Shard gedrosselt wurden. Diese Anzahl von Ausnahmen deckt alle Dimensionen mit folgenden Einschränkungen ab: 5 Lesevorgänge pro Shard pro Sekunde oder 2 MB pro Sekunde pro Shard. Die am häufigsten verwendete Statistik für diese Metrik ist Durchschnitt. Wenn die Statistik Minimum den Wert 1 hat, wurden im angegebenen Zeitraum sämtliche Datensätze für den Shard gedrosselt. Wenn die Statistik Maximum den Wert 0 (null) hat, wurden im angegebenen Zeitraum keine Datensätze für den Shard gedrosselt. Metrikname auf Stream-Ebene: ReadProvisionedThroughputExceeded Abmessungen: StreamName, ShardId Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl
WriteProvisionedThroughputExceeded	Anzahl der Datensätze, die im angegebenen Zeitraum infolge der Drosselung für den Shard abgelehnt wurden. Diese Metrik enthält die Drosselung infolge von PutRecord- und PutRecords-Vorgängen und deckt alle Dimensionen mit folgenden Einschränkungen ab: 1 000 Lesevorgänge pro Shard pro Sekunde oder 1 MB pro Sekunde pro Shard. Die am häufigsten verwendete Statistik für diese Metrik ist Durchschnitt. Wenn die Statistik Minimum einen Wert ungleich null hat, wurden im angegebenen Zeitraum Datensätze für den Shard gedrosselt. Wenn die Statistik Maximum den Wert 0 (null) hat, wurden im angegebenen Zeitraum keine Datensätze für den Shard gedrosselt. Metrikname auf Stream-Ebene: WriteProvisionedThroughputExceeded Abmessungen: StreamName, ShardId Gültige Statistiken: Minimum, Maximum, Durchschnitt, Summe, Stichproben Einheiten: Anzahl

Dimensionen für Metriken für Amazon Kinesis Data Streams

Dimension	Beschreibung
StreamName	Der Name des Kinesis-Streams. Alle verfügbaren Statistiken werden von StreamName gefiltert.

Empfohlene Metriken für Amazon Kinesis Data Streams

Verschiedene Metriken für Amazon Kinesis Data Streams könnten für Kunden von Kinesis Data Streams von besonderem Interesse sein. Die folgende Liste enthält empfohlene Metriken und ihre Verwendung.

Metrik	Nutzungshinweise
GetRecords.IteratorAgeMilliseconds	Verfolgt die Leseposition über alle Shards und Kunden in dem Stream. Wenn das Alter eines Iterators 50 % des Aufbewahrungszeitraums (standardmäßig 24 Stunden, anpassbar auf bis zu 7 Tage) überschreitet, besteht die Gefahr des Datenverlusts durch Ablauf des Datensatzes. Wir empfehlen Ihnen, CloudWatch Alarme in der Maximum-Statistik zu verwenden, um Sie zu warnen, bevor dieser Verlust ein Risiko darstellt. Ein Beispielszenario mit dieser Metrik finden Sie unter Die Verarbeitung der Konsumentendatensätze hängt hinterher.
ReadProvisionedThroughputExceeded	Wenn Ihre konsumentenseitige Datensatzverarbeitung zurückfällt, ist es oft schwierig zu erkennen, wo der Engpass ist. Verwenden Sie diese Metrik, um zu bestimmen, ob Ihre Lesevorgänge aufgrund einer Überschreitung Ihrer Durchsatzgrenzwerte gedrosselt werden. Die am häufigsten verwendete Statistik für diese Metrik ist Durchschnitt.
WriteProvisionedThroughputExceeded	Diese dient dem gleichen Zweck wie die Metrik ReadProvisionedThroughputExceeded, jedoch für die Producer- (Put) Seite des Streams. Die am häufigsten verwendete Statistik für diese Metrik ist Durchschnitt.
PutRecord.Success, PutRecords.Success	Wir empfehlen die Verwendung von CloudWatch Alarmen in der Statistik „Durchschnitt“, um anzuzeigen, wenn Datensätze nicht in den Stream aufgenommen werden. Wählen Sie einen oder beide Put-Typen, je nachdem, was Ihr Producer verwendet. Wenn Sie die Kinesis Producer Library (KPL) verwenden, nehmen Sie PutRecords.Success.
GetRecords.Success	Wir empfehlen die Verwendung von CloudWatch Alarmen in der Statistik „Durchschnitt“, um anzuzeigen, wann Datensätze aus dem Stream ausfallen.

Zugreifen auf Amazon CloudWatch Metrics for Kinesis Data Streams

Sie können Metriken für Kinesis Data Streams über die CloudWatch Konsole, die Befehlszeile oder die CloudWatch API überwachen. Die folgenden Verfahren zeigen, wie Sie mithilfe dieser verschiedenen Verfahren auf die Metriken zugreifen können.

So greifen Sie über die Konsole auf Metriken zu CloudWatch

1. Öffnen Sie die CloudWatch Konsole unter https://console.aws.amazon.com/cloudwatch/.

2. Wählen Sie in der Navigationsleiste eine Region aus.

3. Wählen Sie im Navigationsbereich Metriken aus.

4. Wählen Sie im Bereich CloudWatch Metriken nach Kategorie die Option Kinesis Metrics aus.

5. Klicken Sie auf die entsprechende Zeile, um die Statistiken für das angegebene MetricNameund StreamNameanzuzeigen.

   Hinweis: Die meisten Namen der Konsolenstatistiken stimmen mit den entsprechenden oben aufgeführten CloudWatch Metriknamen überein, mit Ausnahme von Lesedurchsatz und Schreibdurchsatz. Diese Statistiken werden in Intervallen von 5 Minuten berechnet: Der Schreibdurchsatz überwacht die IncomingBytes CloudWatch Metrik und der Lesedurchsatz überwacht GetRecords.Bytes die Metrik.

6. (Optional) Wählen Sie im Diagrammbereich eine Statistik und einen Zeitraum aus, und erstellen Sie dann mit diesen Einstellungen einen CloudWatch Alarm.

Um auf Metriken zuzugreifen, verwenden Sie AWS CLI

Verwenden Sie die Listen-Metriken und get-metric-statisticsBefehle.

So greifen Sie mit der CloudWatch CLI auf Metriken zu

Verwenden Sie die mon-get-statsBefehle mon-list-metricsund.

Um mithilfe der CloudWatch API auf Metriken zuzugreifen

Verwenden Sie die GetMetricStatisticsOperationen ListMetricsund.