Überwachen Sie Sammler mit verkauften Baumstämmen

Die Sammler von Amazon Managed Service for Prometheus stellen veräußerte Protokolle zur Verfügung, mit denen Sie den Prozess der Erfassung von Kennzahlen überwachen und Fehler beheben können. Diese Protokolle werden automatisch an Amazon CloudWatch Logs gesendet und bieten Einblick in die Serviceerkennung, die Erfassung von Metriken und den Datenexport. Der Collector verkauft Protokolle für drei Hauptkomponenten der Pipeline zur Erfassung von Metriken:

Protokolle zur Diensterkennung

Service-Discovery-Protokolle enthalten Informationen über den Zielermittlungsprozess, darunter:

• Authentifizierungs- oder Berechtigungsprobleme beim Zugriff auf Kubernetes-API-Ressourcen.

• Konfigurationsfehler in den Service Discovery-Einstellungen.

Die folgenden Beispiele zeigen häufige Authentifizierungs- und Berechtigungsfehler, die bei der Serviceerkennung auftreten können:

Amazon EKS-Cluster nicht vorhanden

Wenn der angegebene Amazon EKS-Cluster nicht existiert, erhalten Sie die folgende Fehlermeldung:

{
  "component": "SERVICE_DISCOVERY",
  "timestamp": "2025-04-30T17:25:41.946Z",
  "message": {
    "log": "Failed to watch Service - Verify your scraper source exists."
  },
  "scrapeConfigId": "s-a1b2c3d4-5678-90ab-cdef-EXAMPLE11111"
}

Ungültige Berechtigungen für Dienste

Wenn der Collector nicht über die erforderlichen RBAC-Berechtigungen (Role-Based Access Control) verfügt, um Dienste zu überwachen, wird folgende Fehlermeldung angezeigt:

{
  "component": "SERVICE_DISCOVERY",
  "timestamp": "2025-04-30T17:25:41.946Z",
  "message": {
    "log": "Failed to watch Service - Verify your scraper source permissions are valid."
  },
  "scrapeConfigId": "s-a1b2c3d4-5678-90ab-cdef-EXAMPLE11111"
}

Ungültige Berechtigungen für Endgeräte

Wenn der Collector nicht über die erforderlichen RBAC-Berechtigungen (Role-Based Access Control) verfügt, um Endpoints zu überwachen, wird folgende Fehlermeldung angezeigt:

{
  "component": "SERVICE_DISCOVERY",
  "timestamp": "2025-04-30T17:25:41.946Z",
  "message": {
    "log": "Failed to watch Endpoints - Verify your scraper source permissions are valid."
  },
  "scrapeConfigId": "s-a1b2c3d4-5678-90ab-cdef-EXAMPLE11111"
}

Collector-Protokolle

Collector-Protokolle enthalten Informationen über den Prozess des Auslesens von Metriken, darunter:

• Scrape-Fehler, die darauf zurückzuführen sind, dass Endgeräte nicht verfügbar sind.

• Verbindungsprobleme beim Versuch, Ziele zu scrapen.

• Timeouts bei Scrape-Vorgängen.

• Von Scrape-Zielen zurückgegebene HTTP-Statusfehler.

Die folgenden Beispiele zeigen häufige Collector-Fehler, auf die Sie beim Scraping von Metriken stoßen können:

Endpunkt fehlender Metriken

Wenn der /metrics Endpunkt auf der Zielinstanz nicht verfügbar ist, erhalten Sie diesen Fehler:

{
    "component": "COLLECTOR",
    "message": {
        "log": "Failed to scrape Prometheus endpoint - verify /metrics endpoint is available",
        "job": "pod_exporter",
        "targetLabels": "{__name__=\"up\", instance=\10.24.34.0\", job=\"pod_exporter\"}"
    },
    "timestamp": "1752787969551",
    "scraperId": "s-a1b2c3d4-5678-90ab-cdef-EXAMPLE11111"
}

Verbindung wurde verweigert

Wenn der Collector keine Verbindung zum Zielendpunkt herstellen kann, erhalten Sie diesen Fehler:

{
  "scrapeConfigId": "s-a1b2c3d4-5678-90ab-cdef-EXAMPLE11111",
  "timestamp": "2025-04-30T17:25:41.946Z",
  "message": {
    "message": "Scrape failed",
    "scrape_pool": "pod_exporter",
    "target": "http://10.24.34.0:80/metrics",
    "error": "Get \"http://10.24.34.0:80/metrics\": dial tcp 10.24.34.0:80: connect: connection refused"
  },
  "component": "COLLECTOR"
}

Exporter-Protokolle

Exportprotokolle enthalten Informationen über den Prozess des Sendens der gesammelten Messwerte an Ihren Amazon Managed Service for Prometheus-Workspace, einschließlich:

• Anzahl der verarbeiteten Metriken und Datenpunkte.

• Exportfehler aufgrund von Workspace-Problemen.

• Berechtigungsfehler beim Versuch, Metriken zu schreiben.

• Abhängigkeitsfehler in der Exportpipeline.

Das folgende Beispiel zeigt einen häufigen Exportfehler, der beim Export von Metriken auftreten kann:

Workspace wurde nicht gefunden

Wenn der Ziel-Workspace für den Metrikexport nicht gefunden werden kann, wird folgende Fehlermeldung angezeigt:

{
    "component": "EXPORTER",
    "message": {
        "log": "Failed to export to the target workspace - Verify your scraper destination.",
        "samplesDropped": 5
    },
    "timestamp": "1752787969664",
    "scraperId": "s-a1b2c3d4-5678-90ab-cdef-EXAMPLE11111"
}

Collector Vended Logs verstehen und verwenden

Struktur der Protokolle

Alle von Collector verkauften Logs folgen einer konsistenten Struktur mit den folgenden Feldern:

scrapeConfigId

Die eindeutige Kennung der Scrape-Konfiguration, die das Protokoll generiert hat.

timestamp

Der Zeitpunkt, zu dem der Protokolleintrag generiert wurde.

message

Der Inhalt der Protokollnachricht, der zusätzliche strukturierte Felder enthalten kann.

Komponente

Die Komponente, die das Protokoll generiert hat (SERVICE_DISCOVERY, COLLECTOR oder EXPORTER)

Verwendung von versendeten Protokollen zur Fehlerbehebung

Die Collector Vended Logs helfen Ihnen bei der Behebung häufiger Probleme bei der Erfassung von Metriken:

1. Probleme bei der Serviceerkennung

   • Überprüfen Sie die SERVICE_DISCOVERY-Protokolle auf Authentifizierungs- oder Berechtigungsfehler.

   • Stellen Sie sicher, dass der Collector über die erforderlichen Berechtigungen für den Zugriff auf Kubernetes-Ressourcen verfügt.

2. Probleme beim Scraping von Metriken

   • Überprüfen Sie die COLLECTOR-Protokolle auf Scrape-Fehler.

   • Stellen Sie sicher, dass auf die Zielendpunkte zugegriffen werden kann und ob Metriken zurückgegeben werden.

   • Stellen Sie sicher, dass die Firewallregeln es dem Collector ermöglichen, eine Verbindung zu Zielendpunkten herzustellen.

3. Probleme beim Export von Metriken

   • Überprüfen Sie die EXPORTER-Protokolle auf Exportfehler.

   • Stellen Sie sicher, dass der Workspace existiert und korrekt konfiguriert ist.

   • Stellen Sie sicher, dass der Collector über die erforderlichen Berechtigungen verfügt, um in den Workspace zu schreiben.

Zugreifen auf vom Collector versendete Protokolle

Von Collector verkaufte Logs werden automatisch an Amazon CloudWatch Logs gesendet. So greifen Sie auf diese Protokolle zu:

1. Öffnen Sie die CloudWatch Konsole unter https://console.aws.amazon.com/cloudwatch/.

2. Wählen Sie im Navigationsbereich Protokollgruppen aus.

3. Suchen Sie die Protokollgruppe für Ihren Collector und wählen Sie sie aus:/aws/prometheus/workspace_id/collector/collector_id.

4. Durchsuchen oder durchsuchen Sie die Protokollereignisse, um relevante Informationen zu finden.

Sie können CloudWatch Logs Insights auch verwenden, um Ihre Collector-Logs abzufragen und zu analysieren. Um beispielsweise alle Fehler bei der Diensterkennung zu finden, gehen Sie wie folgt vor:

fields @timestamp, message.message
| filter component = "SERVICE_DISCOVERY" and message.message like /Failed/
| sort @timestamp desc

Bewährte Methoden für die Überwachung von Kollektoren

So überwachen Sie Ihren Amazon Managed Service für Prometheus-Sammler effektiv:

1. Richten Sie CloudWatch Alarme für kritische Collector-Probleme ein, wie z. B. anhaltende Scrape-Ausfälle oder Exportfehler. Weitere Informationen finden Sie unter Alarme im CloudWatch Amazon-Benutzerhandbuch.

2. Erstellen Sie CloudWatch Dashboards, um die Leistungskennzahlen von Collector zusammen mit den gesammelten Protokolldaten zu visualisieren. Weitere Informationen finden Sie unter Dashboards im CloudWatch Amazon-Benutzerhandbuch.

3. Überprüfen Sie regelmäßig die Service-Discovery-Logs, um sicherzustellen, dass die Ziele korrekt erkannt werden.

4. Überwachen Sie die Anzahl der gelöschten Ziele, um potenzielle Konfigurationsprobleme zu identifizieren.

5. Verfolgen Sie Exportfehler, um sicherzustellen, dass die Metriken erfolgreich an Ihren Workspace gesendet werden.