Fehlerbehebung bei der Dekomprimierung in Firehose - Amazon Data Firehose

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Fehlerbehebung bei der Dekomprimierung in Firehose

Die folgende Tabelle zeigt, wie Firehose mit Fehlern bei der Datendekomprimierung und -verarbeitung umgeht, einschließlich der Übermittlung von Datensätzen an einen Fehler-S3-Bucket, der Protokollierung von Fehlern und der Ausgabe von Metriken. Es erklärt auch die Fehlermeldung, die bei nicht autorisierten Dateneingabevorgängen zurückgegeben wird.

Problem Lösung
Was passiert mit den Quelldaten im Falle eines Fehlers bei der Dekomprimierung?

Wenn Amazon Data Firehose den Datensatz nicht dekomprimieren kann, wird der Datensatz unverändert (im komprimierten Format) an den Fehler S3-Bucket geliefert, den Sie bei der Erstellung des Firehose-Streams angegeben haben. Zusammen mit dem Datensatz enthält das gelieferte Objekt auch den Fehlercode und die Fehlermeldung. Diese Objekte werden an ein S3-Bucket-Präfix mit dem Namen gesendet. decompression-failed Firehose verarbeitet nach einer fehlgeschlagenen Dekomprimierung eines Datensatzes weiterhin andere Datensätze.

Was passiert mit den Quelldaten im Falle eines Fehlers in der Verarbeitungspipeline nach erfolgreicher Dekomprimierung?

Wenn Amazon Data Firehose bei den Verarbeitungsschritten nach der Dekomprimierung Fehler macht, z. B. dynamische Partitionierung und Datenformatkonvertierung, wird der Datensatz in komprimiertem Format an den Fehler-S3-Bucket übermittelt, den Sie bei der Erstellung des Firehose-Streams angegeben haben. Zusammen mit dem Datensatz enthält das gelieferte Objekt auch einen Fehlercode und eine Fehlermeldung.

Wie werden Sie im Falle eines Fehlers oder einer Ausnahme informiert?

Falls bei der Dekomprimierung ein Fehler oder eine Ausnahme auftritt und Sie CloudWatch Logs konfigurieren, protokolliert Firehose Fehlermeldungen in CloudWatch Logs. Darüber hinaus sendet Firehose Metriken an CloudWatch Metriken, die Sie überwachen können. Sie können optional auch Alarme erstellen, die auf von Firehose ausgegebenen Metriken basieren.

Was passiert, wenn put Operationen nicht aus CloudWatch Logs stammen? Wenn der Kunde puts nicht aus den CloudWatch Logs kommt, wird die folgende Fehlermeldung zurückgegeben:
Put to Firehose failed for AccountId: <accountID>, FirehoseName: <firehosename> because the request is not originating from allowed source types.
Welche Metriken gibt Firehose für die Dekomprimierungsfunktion aus? Firehose gibt Metriken für die Dekomprimierung jedes Datensatzes aus. Sie sollten den Zeitraum (1 Minute), die Statistik (Summe) und den Datumsbereich auswählen, um die Anzahl der fehlgeschlagenen oder erfolgreichen oder DecompressedRecords fehlgeschlagenen oder erfolgreichen Daten zu ermitteln. DecompressedBytes Weitere Informationen finden Sie unter CloudWatch Protokolliert Dekomprimierungsmetriken.