FillWithMode kelas

FillWithModeTransformasi memformat kolom sesuai dengan format nomor telepon yang Anda tentukan. Anda juga dapat menentukan logika tie-breaker, di mana beberapa nilai identik. Misalnya, pertimbangkan nilai-nilai berikut: 1 2 2 3 3 4

ModeType MINIMUM penyebab FillWithMode mengembalikan 2 sebagai nilai mode. Jika ModeType adalahMAXIMUM, modenya adalah 3. UntukAVERAGE, modenya adalah 2.5.

Contoh

from awsglue.context import *
from pyspark.sql import SparkSession
from awsgluedi.transforms import *

sc = SparkContext()
spark = SparkSession(sc)

input_df = spark.createDataFrame(
    [
        (105.111, 13.12),
        (1055.123, 13.12),
        (None, 13.12),
        (13.12, 13.12),
        (None, 13.12),
    ],
    ["source_column_1", "source_column_2"],
)

try:
    df_output = data_quality.FillWithMode.apply(
        data_frame=input_df,
        spark_context=sc,
        source_column="source_column_1",
        mode_type="MAXIMUM"
    )
    df_output.show()    
except:
    print("Unexpected Error happened ")
    raise
    

Output

Output dari kode yang diberikan adalah:

```
+---------------+---------------+
|source_column_1|source_column_2|
+---------------+---------------+
| 105.111| 13.12|
| 1055.123| 13.12|
| 1055.123| 13.12|
| 13.12| 13.12|
| 1055.123| 13.12|
+---------------+---------------+
```

FillWithModeTransformasi dari modul `awsglue.data_quality` diterapkan ke `input_df`. DataFrame Ini menggantikan nilai `null` di source_column_1 kolom dengan nilai maksimum (`mode_type="maximum"`) dari nilai non-null di kolom itu.

Dalam hal ini, nilai maksimum dalam source_column_1 kolom adalah `1055.123`. Oleh karena itu, nilai `null` di digantikan oleh `1055.123` dalam source_column_1 output `df_output`. DataFrame

Metode

• __call__

• apply

• name

• describeArgs

• describeReturn

• describeTransform

• describeErrors

• describe

__call__ (spark_context, data_frame, source_column, mode_type)

FillWithModeTransformasi memformat kasus string dalam kolom.

• source_column— Nama kolom yang ada.

• mode_type— Cara mengatasi nilai dasi dalam data. Nilai ini harus salah satu dariMINIMUM,NONE,AVERAGE, atauMAXIMUM.

apply(cls, *args, **kwargs)

Warisan dari GlueTransform apply.

name(cls)

Warisan dari GlueTransform nama.

describeArgs(cls)

Warisan dari GlueTransform describeArgs.

describeReturn(cls)

Warisan dari GlueTransform describeReturn.

describeTransform(cls)

Warisan dari GlueTransform describeTransform.

describeErrors(cls)

Warisan dari GlueTransform describeErrors.

describe(cls)

Warisan dari GlueTransform describe.