Verwenden des grokLog-Formats in AWS-Glue - AWS Glue

Die vorliegende Übersetzung wurde maschinell erstellt. Im Falle eines Konflikts oder eines Widerspruchs zwischen dieser übersetzten Fassung und der englischen Fassung (einschließlich infolge von Verzögerungen bei der Übersetzung) ist die englische Fassung maßgeblich.

Verwenden des grokLog-Formats in AWS-Glue

AWS-Glue ruft Daten aus Quellen ab und schreibt Daten an Ziele, die in verschiedenen Datenformaten gespeichert und transportiert werden. Wenn Ihre Daten in einem lose strukturierten Klartextformat gespeichert oder transportiert werden, stellt Ihnen dieses Dokument die verfügbaren Funktionen zur Verwendung Ihrer Daten in AWS-Glue über Grok-Muster vor.

AWS Glue bietet Unterstützung mit Grok-Mustern. Grok-Muster ähneln Erfassungsgruppen mit regulären Ausdrücken. Sie erkennen Muster von Zeichenfolgen in einer Klartextdatei und geben ihnen einen Typ und Zweck. In AWS Glue ist ihr Hauptzweck das Lesen von Protokollen. Eine Einführung in den Grok durch die Autoren finden Sie unter Logstash-Referenz: Grok-Filter-Plugin.

Lesen Write (Schreiben) Streaming gelesen Gruppieren von kleinen Dateien Auftrags-Lesezeichen
Unterstützt Nicht zutreffend Unterstützt Unterstützt Nicht unterstützt

grokLog-Konfigurationsreferenz

Sie können folgende format_options-Werte mit format="grokLog" verwenden:

  • logFormat – Gibt das Grok-Muster an, das mit dem Protokollformat übereinstimmt.

  • customPatterns – Gibt zusätzliche hier verwendete Grok-Muster an.

  • MISSING – Gibt das Signal für die Identifizierung fehlender Werte an. Der Standardwert ist '-'.

  • LineCount – Gibt die Anzahl der Zeilen in den einzelnen Protokolldatensätzen an. Der Standard ist '1'. Derzeit werden nur einzeilige Datensätze unterstützt.

  • StrictMode – Ein boolescher Wert, der angibt, ob der Strict-Modus aktiviert ist. Im strikten Modus führt der Reader keine automatische Typkonvertierung oder -wiederherstellung durch. Der Standardwert ist "false".