RegEx データ形式 - AWS Data Pipeline

RegEx データ形式

正規表現によって定義されるカスタムデータ形式。

以下は、このオブジェクト型の例です。

{ "id" : "MyInputDataType", "type" : "RegEx", "inputRegEx" : "([^ ]*) ([^ ]*) ([^ ]*) (-|\\[[^\\]]*\\]) ([^ \"]*|\"[^\"]*\") (-|[0-9]*) (-|[0-9]*)(?: ([^ \"]*|\"[^\"]*\") ([^ \"]*|\"[^\"]*\"))?", "outputFormat" : "%1$s %2$s %3$s %4$s %5$s %6$s %7$s %8$s %9$s", "column" : [ "host STRING", "identity STRING", "user STRING", "time STRING", "request STRING", "status STRING", "size STRING", "referer STRING", "agent STRING" ] }

Syntax

オプションのフィールド 説明 スロットタイプ
このデータノードで記述されたデータに対して各フィールドで指定されたデータ型を持つ列名。例: hostname STRING。複数の値の場合は、列名とデータ型をスペースで区切って使用します。 文字列
inputRegEx S3 入力ファイルを解析する正規表現。inputRegEx を利用すると、ファイル内の比較的、構造化されていないデータから列を取得することができます。 文字列
outputFormat inputRegEx で取得されるが、Java フォーマッター構文を使用して %1$s %2$s として参照される列フィールド。 文字列
parent スロットの継承元となる現在のオブジェクトの親。 参照オブジェクト ("parent":{"ref":"myBaseObjectId"} など)

実行時フィールド 説明 スロットタイプ
@version オブジェクトが作成されたパイプラインのバージョン。 文字列

システムフィールド 説明 スロットタイプ
@error 形式が正しくないオブジェクトを説明するエラー 文字列
@pipelineId このオブジェクトが属するパイプラインの ID 文字列
@sphere オブジェクトの球は、ライフサイクルにおける場所を示します。コンポーネントオブジェクトにより、試行オブジェクトを実行するインスタンスオブジェクトが発生します 文字列