Clase FillWithMode - AWS Glue
EjemploSalida — métodos —__call__applynamedescribeArgsdescribeReturndescribeTransformdescribeErrorsdescribe

Clase FillWithMode

La transformación FillWithMode formatea una columna de acuerdo con el formato de número de teléfono que especifique. También puede especificar una lógica de desempate, en la que algunos valores son idénticos. Por ejemplo, considere los siguientes valores: 1 2 2 3 3 4

Un ModeType MINIMUM hace que FillWithMode devuelva 2 como valor de modo. Si ModeType es MAXIMUM, el modo es 3. Para AVERAGE, el modo es 2,5.

Ejemplo

from awsglue.context import *
from pyspark.sql import SparkSession
from awsgluedi.transforms import *

sc = SparkContext()
spark = SparkSession(sc)

input_df = spark.createDataFrame(
    [
        (105.111, 13.12),
        (1055.123, 13.12),
        (None, 13.12),
        (13.12, 13.12),
        (None, 13.12),
    ],
    ["source_column_1", "source_column_2"],
)

try:
    df_output = data_quality.FillWithMode.apply(
        data_frame=input_df,
        spark_context=sc,
        source_column="source_column_1",
        mode_type="MAXIMUM"
    )
    df_output.show()    
except:
    print("Unexpected Error happened ")
    raise

Salida

El resultado del código dado será: 

```
+---------------+---------------+
|source_column_1|source_column_2|
+---------------+---------------+
| 105.111| 13.12|
| 1055.123| 13.12|
| 1055.123| 13.12|
| 13.12| 13.12|
| 1055.123| 13.12|
+---------------+---------------+
```

La transformación FillWithMode del módulo `awsglue.data_quality` se aplica al elemento DataFrame `input_df`. Sustituye los valores `null` de la columna source_column_1 por el valor máximo (`mode_type="MAXIMUM"`) de los valores no nulos de esa columna.

En este caso, el valor máximo de la columna source_column_1 es `1055.123`. Por lo tanto, los valores `null` de source_column_1 se sustituyen por `1055.123` en el elemento DataFrame `df_output` resultante.

Métodos

__call__(spark_context, data_frame, source_column, mode_type)

La transformación FillWithMode formatea las cadenas de mayúsculas y minúsculas de una columna.

  • source_column: el nombre de una columna existente.

  • mode_type: cómo resolver los valores de empate en los datos. Este valor debe ser uno de los siguientes: MINIMUM, NONE, AVERAGE o MAXIMUM.

apply(cls, *args, **kwargs)

Heredado de GlueTransform apply.

name(cls)

Heredado de GlueTransform name.

describeArgs(cls)

Heredado de GlueTransform describeArgs.

describeReturn(cls)

Heredado de GlueTransform describeReturn.

describeTransform(cls)

Heredado de GlueTransform describeTransform.

describeErrors(cls)

Heredado de GlueTransform describeErrors.

describe(cls)

Heredado de GlueTransform describe.