IpToInt クラス
IpToInt
変換は、ソース列の Internet Protocol version 4 (IPv4) 値または他の値をターゲット列の対応する整数値に変換し、新しい列に結果を返します。
例
AWS Glue 4.0 以降では、 を使用してジョブ引数を作成または更新します。 key: --enable-glue-di-transforms, value: true
from pyspark.context import SparkContext from awsgluedi.transforms import * sc = SparkContext() input_df = spark.createDataFrame( [ ("192.0.0.1",), ("10.10.10.10",), ("1.2.3.4",), ("1.2.3.6",), ("http://12.13.14.15",), ("https://16.17.18.19",), ("1.2.3.4",), (None,), ("abc",), ("abc.abc.abc.abc",), ("321.123.123.123",), ("244.4.4.4",), ("255.255.255.255",), ], ["source_column_ip"], ) df_output = web_functions.IpToInt.apply( data_frame=input_df, spark_context=sc, source_column="source_column_ip", target_column="target_column", value=None ) df_output.show()
出力
出力は次のようになります。
``` +----------------+---------------+ |source_column_ip| target_column| +----------------+---------------+ | 192.0.0.1| 3221225473| | 10.10.10.10| 168427722| | 1.2.3.4| 16909060| | 1.2.3.6| 16909062| |http://12.13.14.15| null| |https://16.17.18.19| null| | 1.2.3.4| 16909060| | null| null| | abc| null| |abc.abc.abc.abc| null| | 321.123.123.123| null| | 244.4.4.4| 4102444804| | 255.255.255.255| 4294967295| +----------------+---------------+ ```
IpToInt
変換では、「source_column」を「source_column_ip」として受け取り、「target_column」を「target_column」として受け取り、「source_column_ip」列の有効な IPv4 アドレス文字列を対応する 32 ビット整数表現に変換して、結果を「target_column」列に格納します。
有効な IPv4 アドレス文字列 (例: "192.0.0.1"、"10.10.10.10"、"1.2.3.4") の場合、変換はそれらを整数表現 (例: 3221225473、168427722、16909060) に正常に変換します。有効な IPv4 アドレスではない文字列 (URL 、 URLs 「abc」のような非 IP 文字列、「abc.abc.abc.abc」のような無効な IP 形式など) の場合、「target_column」値は「null」に設定されます。`source_column_ip` 列の `null` 値の場合、`target_column` 値も `null` に設定されます。
方法
__call__(spark_context, data_frame, target_column, source_column=None, value=None)
IpToInt
変換は、ソース列の Internet Protocol version 4 (IPv4) 値または他の値をターゲット列の対応する整数値に変換し、新しい列に結果を返します。
-
sourceColumn
- 既存の列の名前。 -
value
– 評価する文字列。 -
targetColumn
– 作成する新しい列の名前。
apply(cls, *args, **kwargs)
継承元は GlueTransform
apply。
name(cls)
継承元は GlueTransform
name。
describeArgs(cls)
継承元は GlueTransform
describeArgs。
describeReturn(cls)
継承元は GlueTransform
describeReturn。
describeTransform(cls)
継承元は GlueTransform
describeTransform。
describeErrors(cls)
継承元は GlueTransform
describeErrors。
describe(cls)
継承元は GlueTransform
説明。