CloudWatch Amazon-Lösung: Amazon MSK Insights

Mit dieser Lösung können Sie Ihre Amazon MSK-Cluster überwachen, CloudWatch ohne Ihre eigene Erfassungsinfrastruktur betreiben oder skalieren zu müssen. Wenn Sie Open Monitoring auf einem Amazon MSK-Cluster aktivieren, stellt der Cluster Prometheus Metriken über den JMX Exporter und Node Exporter zur Verfügung, und ein von Amazon CloudWatch verwalteter Prometheus-Collector scrapt diese Metriken und liefert sie an. CloudWatch Allgemeine Informationen zu allen Observability-Lösungen finden Sie unter. CloudWatch CloudWatch Observability-Lösungen Eine vollständige Anleitung zur Einrichtung des Collectors, einschließlich der Erstellung eines Scrapers und des Beispiels einer Scrape-Konfiguration, finden Sie unter. Integrieren Sie Amazon MSK

Voraussetzungen

Diese Lösung ist für folgende Bedingungen relevant:

• Ein Amazon MSK-Cluster im bereitgestellten Modus mit Standard- oder Express-Brokern. Verwaltete Collectors unterstützen keine Amazon MSK-Cluster ohne Server.

• Open Monitoring ist auf dem Cluster aktiviert, wodurch der JMX Exporter (Port 11001) und der Node Exporter (Port 11002) verfügbar sind.

• Amazon VPC mit aktiviertem DNS und mindestens zwei Subnetzen in verschiedenen Availability Zones für den Collector.

• Eine Sicherheitsgruppe, die es dem Collector ermöglicht, die Broker-Ports 11001 und 11002 zu erreichen.

Aktivieren Sie den verwalteten Collector

Um Amazon MSK-Metriken mit einem verwalteten Collector zu erfassen, aktivieren Sie Open Monitoring in Ihrem Cluster und erstellen dann einen VPC-connected Collector, der die Broker-Endpunkte durchsucht und Metriken an Ihren Datensatz übermittelt. CloudWatch Der Collector stellt eine Verbindung zu Ihrer VPC her und scrollt mithilfe von DNS-based Service Discovery alle Broker ab, sodass Ihr Monitoring gegen Broker-Ersetzungen und Cluster-Skalierung stabil bleibt. Schrittweise Anleitungen hierzu finden Sie unter Integrieren Sie Amazon MSK.

Anmerkung

Allein der --open-monitoring Parameter macht die Prometheus Endpunkte an den Ports 11001 und 11002 verfügbar. Erweiterte Überwachungstarife, z. B. PER_TOPIC_PER_PARTITION getrennt von Open Monitoring, können zusätzliche Gebühren verursachen. Richten Sie sie daher nur ein, wenn Sie Amazon MSK-Metriken auf dieser Ebene benötigen.

Detaillierte Überwachungsebenen von Amazon MSK

Unabhängig von den Prometheus Metriken, die der Collector scrappt, veröffentlicht Amazon MSK seine eigenen Metriken auf verschiedenen CloudWatch Überwachungsebenen. Jede Ebene baut auf der vorherigen auf und bietet eine detailliertere betriebliche Transparenz. Sie wählen eine Überwachungsebene, wenn Sie den Cluster erstellen oder aktualisieren. In der folgenden Liste sind die Stufen zusammengefasst. Die vollständige Liste der Metriken auf jeder Ebene finden Sie im Amazon MSK-Entwicklerhandbuch unter Amazon CloudWatch MSK-Metriken zur Überwachung.

• Basic Monitoring (DEFAULT) — Die Standardstufe, die ohne zusätzliche Kosten verfügbar ist. Umfasst Metriken auf Cluster- und Broker-Ebene wie die Anzahl der Broker, die Anzahl der Partitionen, Bytes und ein- und ausgehende Nachrichten, CPU-Auslastung und Netzwerk. I/O

• Verbesserte Überwachung auf Brokerebene (PER_BROKER) — Umfasst grundlegende Überwachungsfunktionen sowie detailliertere Kennzahlen pro Broker gegen Aufpreis.

• Verbesserte Überwachung auf Themenebene (PER_TOPIC_PER_BROKER) — Umfasst eine erweiterte Überwachung auf Maklerebene sowie themenspezifische Kennzahlen für einen detaillierteren Überblick über die Leistung der einzelnen Makler, gegen Aufpreis.

• Verbesserte Überwachung auf Partitionsebene () — Die detaillierteste Ebene. PER_TOPIC_PER_PARTITION Beinhaltet eine erweiterte Überwachung auf Themenebene sowie detaillierte Kennzahlen pro Partition, wie z. B. Offset-Lag, gegen Aufpreis.

Anmerkung

Amazon MSK veröffentlicht detaillierte Überwachungsmetriken für klassische CloudWatch Metriken, die Sie mit der API abfragen können. GetMetricData Um neben den Open Monitoring-Metriken auch detaillierte Prometheus Monitoring-Metriken verfügbar zu machen, müssen Sie die OpenTelemetry Anreicherung aktivieren. Weitere Informationen finden Sie unter OpenTelemetry Metrikanreicherung.

Sehen Sie sich das automatische Dashboard an

Nachdem der Collector mit der Übermittlung Ihrer Amazon MSK-Metriken an begonnen hat CloudWatch, bietet die CloudWatch Konsole ein automatisches Dashboard mit dem Namen MSK OTel. Rufen Sie MSK OTel auf, um es zu öffnen, oder melden Sie sich bei der AWS Management Console an, öffnen Sie die CloudWatch Konsole, wählen Sie Dashboards im Navigationsbereich aus, wählen Sie Automatische Dashboards und dann MSK OTel. Sie können mit der Überwachung Ihrer Cluster beginnen, ohne selbst Widgets oder Dashboards erstellen zu müssen. Wenn das automatische Dashboard Ihren Anforderungen entspricht, können Sie es unverändert verwenden. Um ein maßgeschneidertes Überwachungserlebnis zu erstellen, können Sie jedes seiner Widgets zu einem benutzerdefinierten Dashboard hinzufügen. Weitere Informationen zu benutzerdefinierten Dashboards finden Sie unter Verwenden von CloudWatch Dashboards.

Kosten

Wir berechnen die Gebühren für Prometheus Collectors pro Stunde, und es gelten die Preise für die Erfassung von CloudWatch OpenTelemetry Metriken. Höhere Amazon MSK-Überwachungsstufen sind ebenfalls mit zusätzlichen monatlichen Kosten verbunden. Weitere Informationen zur CloudWatch Preisgestaltung finden Sie unter CloudWatch Amazon-Preise.