AWS Glue で grokLog 形式を使用する

AWS Glue はソースからデータを取得し、さまざまなデータ形式で保存および転送されたターゲットにデータを書き込みます。このドキュメントでは、データが大まかに構造化されたプレーンテキスト形式で保存または転送される場合に、AWS Glue でデータを使用する際に利用できる機能を紹介します。

AWS Glue は、Grok パターンの使用をサポートしています。Grok パターンは、正規表現のキャプチャグループに似ています。プレーンテキストファイル内の文字シーケンスのパターンを認識し、タイプと目的を与えます。AWS Glue での主な目的はログを読み取ることです。作成者による Grokの概要については、「Logstash Reference: Grok filter plugin」(Logstash リファレンス: Grok フィルタープラグイン) を参照してください。

読み込み	書き込み	ストリーミングの読み取り	小さなファイルのグループ化	ジョブのブックマーク
サポート対象	該当しません	サポート対象	サポート対象	サポートされていません

grokLog 設定リファレンス

format="grokLog" には、以下の format_options 値を使用できます。

• logFormat – ログの形式と一致する Grok パターンを指定します。

• customPatterns – ここで使用する追加の Grok パターンを指定します。

• MISSING – 欠落した値の識別に使用するシグナルを指定します。デフォルトは '-' です。

• LineCount – 各ログレコードの行数を指定します。デフォルト値は '1' です。現在 1 行のレコードのみがサポートされています。

• StrictMode – strict モードを有効にするかどうかを指定するブール値。厳格モードでは、リーダーは自動的な型変換や復旧を行いません。デフォルト値は、「"false"」です。