FormatCase clase

La FormatCase transformación cambia cada cadena de una columna al tipo de mayúsculas y minúsculas especificado.

Ejemplo

from pyspark.context import SparkContext
from pyspark.sql import SparkSession
from awsgluedi.transforms import *

sc = SparkContext()
spark = SparkSession(sc)

datasource1 = spark.read.json("s3://${BUCKET}/json/zips/raw/data")

try:
    df_output = data_cleaning.FormatCase.apply(
        data_frame=datasource1,
        spark_context=sc,
        source_column="city",
        case_type="LOWER"
    )    
except:
    print("Unexpected Error happened ")
    raise
    

Salida

La FormatCase transformación convertirá los valores de la columna `city` a minúsculas según el parámetro `CASE_TYPE="lower"`. La opción `df_output` resultante DataFrame contendrá todas las columnas de la `datasource1` original, pero con los valores de la columna `city` en minúsculas. DataFrame

Métodos

• __call__

• apply

• name

• describeArgs

• describeReturn

• describeTransform

• describeErrors

• describe

__call__ (spark_context, data_frame, source_column, case_type)

La FormatCase transformación cambia cada cadena de una columna al tipo de mayúsculas y minúsculas especificado.

• source_column: el nombre de una columna existente.

• case_type— Los tipos de casos admitidos son CAPITALLOWER,UPPER,,SENTENCE.

apply(cls, *args, **kwargs)

Heredado de GlueTransform apply.

name(cls)

Heredado de GlueTransform name.

describeArgs(cls)

Heredado de GlueTransform describeArgs.

describeReturn(cls)

Heredado de GlueTransform describeReturn.

describeTransform(cls)

Heredado de GlueTransform describeTransform.

describeErrors(cls)

Heredado de GlueTransform describeErrors.

describe(cls)

Heredado de GlueTransform describe.