MonthName 変換により、日付を表す文字列から、月の名前を含む新しい列が作成されます。
例
from pyspark.context import SparkContext
from pyspark.sql import SparkSession
from awsgluedi.transforms import *
sc = SparkContext()
spark = SparkSession(sc)
spark.conf.set("spark.sql.legacy.timeParserPolicy", "LEGACY")
input_df = spark.createDataFrame(
[
("20-2018-12",),
("2018-20-12",),
("20182012",),
("12202018",),
("20122018",),
("20-12-2018",),
("12/20/2018",),
("02/02/02",),
("02 02 2009",),
("02/02/2009",),
("August/02/2009",),
("02/june/2009",),
("02/2020/june",),
("2013-02-21 06:35:45.658505",),
("August 02 2009",),
("2013/02/21",),
(None,),
],
["column_1"],
)
try:
df_output = datetime_functions.MonthName.apply(
data_frame=input_df,
spark_context=sc,
source_column="column_1",
target_column="target_column"
)
df_output.show()
except:
print("Unexpected Error happened ")
raise
出力
出力は次のとおりです。
```
+------------+------------+
| column_1|target_column|
+------------+------------+
|20-2018-12 | December |
|2018-20-12 | null |
| 20182012| null |
| 12202018| null |
| 20122018| null |
|20-12-2018 | December |
|12/20/2018 | December |
| 02/02/02 | February |
|02 02 2009 | February |
|02/02/2009 | February |
|August/02/2009| August |
|02/june/2009| null |
|02/2020/june| null |
|2013-02-21 06:35:45.658505| February |
|August 02 2009| August |
| 2013/02/21| February |
| null | null |
+------------+------------+
``` MonthName 変換では、「source_column」を『column_1』、「target_column」を『target_column』とします。「『column_1』」列の日付/時刻文字列から月名を抽出し、「『target_column』」列に配置します。日付/時刻文字列が認識されないフォーマットである、または解析できない場合、「『target_column』」値は「null」に設定されます。
変換は、「2018-12-20」、「2018/12/20」、「2009/02/02」、「2013-02-21 06:35:45.658505」、「2009 年 8 月 2 日」など、さまざまな日付/時刻フォーマットから月名を正常に抽出します。
方法
__call__(spark_context, data_frame, target_column, source_column=None, value=None)
MonthName 変換により、日付を表す文字列から、月の名前を含む新しい列が作成されます。
-
source_column- 既存の列の名前。 -
value– 評価する文字列。 -
target_column– 新しく作成された列の名前。
apply(cls, *args, **kwargs)
継承元は GlueTransform apply。
name(cls)
継承元は GlueTransform name。
describeArgs(cls)
継承元は GlueTransform describeArgs。
describeReturn(cls)
継承元は GlueTransform describeReturn。
describeTransform(cls)
継承元は GlueTransform describeTransform。
describeErrors(cls)
継承元は GlueTransform describeErrors。
describe(cls)
継承元は GlueTransform 説明。
