Uso del formato grokLog en AWS Glue - AWS Glue

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Uso del formato grokLog en AWS Glue

AWS Glue recupera datos de fuentes y escribe datos en destinos almacenados y transportados en varios formatos de datos. Si los datos se almacenan o se transportan en texto sin formato y en un formato poco estructurado, este documento presenta las características disponibles para utilizar los datos en AWS Glue a través de patrones de Grok.

AWS Glue admite el uso de patrones de Grok. Los patrones de Grok son similares a los grupos de captura de expresiones regulares. Reconocen patrones de secuencias de caracteres en un archivo de texto sin formato y les dan un tipo y un propósito. En AWS Glue, su objetivo principal es leer registros. Para obtener una introducción a Grok por parte de los autores, consulte Referencia de Logstash: complemento de filtro de Grok.

Leer Escritura Lectura de streaming Grupo de archivos pequeños Marcadores de trabajo
Compatible No aplicable Soportado Soportado No se admite

Referencia de configuración de grokLog

Puede utilizar los siguientes valores format_options con format="grokLog":

  • logFormat: especifica el patrón de Grok que coincide con el formato del registro.

  • customPatterns: especifica los patrones de Grok adicionales que se utilizan aquí.

  • MISSING: especifica la señal que se utilizará en la identificación de los valores que faltan. El valor predeterminado es '-'.

  • LineCount: especifica el número de líneas en cada registro. El valor predeterminado es '1' y actualmente solo se admiten los registros de una sola línea.

  • StrictMode: un valor booleano que especifica si el modo estricto está habilitado. En modo estricto, el lector no efectúa la conversión o recuperación de tipo automática. El valor predeterminado es "false".