FlagDuplicateRows clase - AWS Glue
EjemploSalida — métodos —__call__applynamedescribeArgsdescribeReturndescribeTransformdescribeErrorsdescribe

FlagDuplicateRows clase

La FlagDuplicateRows transformación devuelve una nueva columna con un valor específico en cada fila que indica si esa fila coincide exactamente con una fila anterior del conjunto de datos. Cuando se encuentran coincidencias, se marcan como duplicadas. La aparición inicial no está marcada porque no coincide con una fila anterior.

Ejemplo

from pyspark.context import SparkContext
from pyspark.sql import SparkSession
from awsgluedi.transforms import *

sc = SparkContext()
spark = SparkSession(sc)

input_df = spark.createDataFrame(
    [
        (105.111, 13.12),
        (13.12, 13.12),
        (None, 13.12),
        (13.12, 13.12),
        (None, 13.12),
    ],
    ["source_column_1", "source_column_2"],
)

try:
    df_output = data_quality.FlagDuplicateRows.apply(
        data_frame=input_df,
        spark_context=sc,
        target_column="flag_row",
        true_string="True",
        false_string="False",
        target_index=1
    )
except:
    print("Unexpected Error happened ")
    raise

Salida

El resultado será un PySpark DataFrame con una columna adicional flag_row que indica si una fila está duplicada o no, en función de la source_column_1 columna. El `df_output` resultante DataFrame contendrá las siguientes filas:

```
+---------------+---------------+--------+
|source_column_1|source_column_2|flag_row|
+---------------+---------------+--------+
| 105.111| 13.12| False|
| 13.12| 13.12| True|
| null| 13.12| True|
| 13.12| 13.12| True|
| null| 13.12| True|
+---------------+---------------+--------+
```

La flag_row columna indica si una fila está duplicada o no. La `true_string` se establece en «True» y la `false_string` se establece en «False». El `target_index` está establecido en 1, lo que significa que la flag_row columna se insertará en la segunda posición (índice 1) de la salida. DataFrame

Métodos

__call__ (spark_context, data_frame, target_column, true_string=DEFAULT_TRUE_STRING, FALSE_STRING=DEFAULT_FALSE_STRING, TARGET_INDEX=NONE)

La transformación devuelve una nueva columna con un valor específico en cada fila que indica si esa fila coincide exactamente con una fila anterior del conjunto de datos. FlagDuplicateRows Cuando se encuentran coincidencias, se marcan como duplicadas. La aparición inicial no está marcada porque no coincide con una fila anterior.

  • true_string— Valor que se insertará si la fila coincide con una fila anterior.

  • false_string— Valor que se insertará si la fila es única.

  • target_column— Nombre de la nueva columna que se inserta en el conjunto de datos.

apply(cls, *args, **kwargs)

Heredado de GlueTransform apply.

name(cls)

Heredado de GlueTransform name.

describeArgs(cls)

Heredado de GlueTransform describeArgs.

describeReturn(cls)

Heredado de GlueTransform describeReturn.

describeTransform(cls)

Heredado de GlueTransform describeTransform.

describeErrors(cls)

Heredado de GlueTransform describeErrors.

describe(cls)

Heredado de GlueTransform describe.