Utilisation du format grokLog dans AWS Glue - AWS Glue

Les traductions sont fournies par des outils de traduction automatique. En cas de conflit entre le contenu d'une traduction et celui de la version originale en anglais, la version anglaise prévaudra.

Utilisation du format grokLog dans AWS Glue

AWS Glue récupère les données des sources et écrit les données sur des cibles stockées et transportées dans différents formats de données. Si vos données sont stockées ou transportées au format de données Paintext, ce document vous présente les fonctionnalités disponibles pour utiliser vos données dans AWS Glue. via les modèles Grok

AWS les supports Glue utilisent des modèles Grok. Les modèles Grok sont similaires aux groupes de capture d'expressions régulières. Ils reconnaissent les modèles de séquences de caractères dans un fichier texte brut et leur donnent un type et un objectif. Dans AWS Glue, leur objectif principal est de lire les journaux. Pour une introduction au Grok par les auteurs, voirRéférence Logstash : plug-in de filtre Grok.

Lire Écrire Lecture en streaming Groupement des petits fichiers Signets de tâche
Pris en charge Ne s'applique pas Pris en charge Pris en charge Non pris en charge

Référence de configuration grokLog

Vous pouvez utiliser les valeurs format_options suivantes avec format="grokLog" :

  • logFormat — spécifie le modèle Grok correspondant au format du journal.

  • customPatterns — spécifie les modèles Grok supplémentaires utilisés ici.

  • MISSING — spécifie le signal à utiliser lors de l'identification des valeurs manquantes. La valeur par défaut est '-'.

  • LineCount — spécifie le nombre de lignes de chaque enregistrement de journal. La valeur par défaut est '1', et actuellement seuls les enregistrements d'une ligne sont pris en charge.

  • StrictMode — valeur booléenne indiquant si le mode strict est activé. En mode strict, le lecteur n'exécute pas de conversion ou récupération de type automatique. La valeur par défaut est "false".