Menggunakan format GrokLog di Glue AWS

AWSGlue mengambil data dari sumber dan menulis data ke target yang disimpan dan diangkut dalam berbagai format data. Jika data Anda disimpan atau diangkut dalam format plaintext yang terstruktur secara longgar, dokumen ini memperkenalkan fitur yang tersedia untuk menggunakan data Anda dalam pola Glue AWS through Grok.

AWSGlue mendukung menggunakan pola Grok. Pola Grok mirip dengan grup pengambilan ekspresi reguler. Mereka mengenali pola urutan karakter dalam file plaintext dan memberi mereka jenis dan tujuan. Di AWS Glue, tujuan utamanya adalah membaca log. Untuk pengenalan Grok oleh penulis, lihat Referensi Logstash: Plugin filter Grok.

Baca	Tulis	Streaming dibaca	Kelompokkan file kecil	Bookmark tugas
Didukung	Tidak Berlaku	Didukung	Didukung	Tidak didukung

Referensi konfigurasi GrokLog

Anda dapat menggunakan nilai format_options berikut dengan format="grokLog":

• logFormat — Menentukan pola Grok yang cocok dengan format log.

• customPatterns — Menentukan pola Grok tambahan yang digunakan di sini.

• MISSING — Menentukan sinyal untuk digunakan dalam mengidentifikasi nilai-nilai yang hilang. Defaultnya adalah '-'.

• LineCount — Menentukan jumlah baris dalam setiap catatan log. Default-nya adalah '1', dan saat ini hanya catatan baris-tunggal yang didukung.

• StrictMode — Nilai Boolean yang menentukan apakah mode ketat diaktifkan. Dalam mode ketat, pembaca tidak melakukan konversi jenis otomatis atau pemulihan. Nilai default-nya adalah "false".