Clase SplitFields - AWS Glue

Clase SplitFields

Divide un elemento DynamicFrame en dos elementos nuevos según los campos especificados.

Methods

__call__(frame, paths, name1 = None, name2 = None, transformation_ctx = "", info = "", stageThreshold = 0, totalThreshold = 0)

Divide uno o más campos de un elemento DynamicFrame en un elemento DynamicFrame nuevo y crea otro elemento DynamicFrame nuevo que contiene los campos que quedan.

  • frame: DynamicFrame de origen que se va a dividir en dos nuevos (obligatorio).

  • paths: lista de rutas completas a los campos que se van a dividir (obligatorio).

  • name1: nombre que se asigna al DynamicFrame que contendrá los campos que se van a dividir (opcional). Si no se da ningún nombre, se usa el nombre de la trama de origen con un "1" anexado.

  • name2: nombre que se asigna al DynamicFrame que contendrá los campos que quedan tras haber dividido los campos que se especificaron (opcional). Si no se da ningún nombre, se usa el nombre de la trama de origen con un "2" anexado.

  • transformation_ctx: cadena única que se utiliza para identificar la información del estado (opcional).

  • info: cadena que está asociada a errores en la transformación (opcional).

  • stageThreshold: número máximo de errores que se pueden producir en la transformación antes de que se determine que es errónea (opcional, el valor predeterminado es cero).

  • totalThreshold: número máximo de errores que se pueden producir en total antes de que se determine que el proceso es erróneo (opcional, el valor predeterminado es cero).

Devuelve un DynamicFrameCollection que contiene dos DynamicFrames, uno con solo las filas especificadas para dividirlas y el otro con las filas restantes.

apply(cls, *args, **kwargs)

Heredado de GlueTransform apply.

name(cls)

Heredado de GlueTransform name.

describeArgs(cls)

Heredado de GlueTransform describeArgs.

describeReturn(cls)

Heredado de GlueTransform describeReturn.

describeTransform(cls)

Heredado de GlueTransform describeTransform.

describeErrors(cls)

Heredado de GlueTransform describeErrors.

describe(cls)

Heredado de GlueTransform describe.

Ejemplo de SplitFields

En este ejemplo se utiliza el siguiente DynamicFrame como entrada y se divide en dos DynamicFrames.

dyf_dropNullfields.toDF().show() +-------------+---------------+--------------+----------+ |warehouse_loc|data.strawberry|data.pineapple|data.mango| +-------------+---------------+--------------+----------+ | TX_WAREHOUSE| 220| 560| 350| | CA_WAREHOUSE| 34| 123| 42| | CO_WAREHOUSE| 340| 180| 2| +-------------+---------------+--------------+----------+
dyf_splitFields = SplitFields.apply(frame = dyf_dropNullfields, paths = ["`data.strawberry`", "`data.pineapple`"], name1 = "a", name2 = "b")

Puede ver el resultado del primer DynamicFrame utilizando los siguientes comandos.

dyf_retrieve_a = SelectFromCollection.apply(dyf_splitFields, "a") dyf_retrieve_a.toDF().show() +---------------+--------------+ |data.strawberry|data.pineapple| +---------------+--------------+ | 220| 560| | 34| 123| | 340| 180| +---------------+--------------+

Puede ver el resultado del segundo DynamicFrame utilizando los siguientes comandos.

dyf_retrieve_b = SelectFromCollection.apply(dyf_splitFields, "b") dyf_retrieve_b.toDF().show() +-------------+----------+ |warehouse_loc|data.mango| +-------------+----------+ | TX_WAREHOUSE| 350| | CA_WAREHOUSE| 42| | CO_WAREHOUSE| 2| +-------------+----------+