Uso del formato grokLog en AWS Glue

AWS Glue recupera datos de fuentes y escribe datos en destinos almacenados y transportados en varios formatos de datos. Si los datos se almacenan o se transportan en texto sin formato y en un formato poco estructurado, este documento presenta las características disponibles para utilizar los datos en AWS Glue a través de patrones de Grok.

AWS Glue admite el uso de patrones de Grok. Los patrones de Grok son similares a los grupos de captura de expresiones regulares. Reconocen patrones de secuencias de caracteres en un archivo de texto sin formato y les dan un tipo y un propósito. En AWS Glue, su objetivo principal es leer registros. Para obtener una introducción a Grok por parte de los autores, consulte Referencia de Logstash: complemento de filtro de Grok.

Leer	Escritura	Lectura de streaming	Grupo de archivos pequeños	Marcadores de trabajo
Compatible	No aplicable	Soportado	Soportado	No se admite

Referencia de configuración de grokLog

Puede utilizar los siguientes valores format_options con format="grokLog":

• logFormat: especifica el patrón de Grok que coincide con el formato del registro.

• customPatterns: especifica los patrones de Grok adicionales que se utilizan aquí.

• MISSING: especifica la señal que se utilizará en la identificación de los valores que faltan. El valor predeterminado es '-'.

• LineCount: especifica el número de líneas en cada registro. El valor predeterminado es '1' y actualmente solo se admiten los registros de una sola línea.

• StrictMode: un valor booleano que especifica si el modo estricto está habilitado. En modo estricto, el lector no efectúa la conversión o recuperación de tipo automática. El valor predeterminado es "false".