Clase UnnestFrame - AWS Glue

Clase UnnestFrame

Aplana DynamicFrame y los objetos anidados hasta convertirlos en elementos de nivel superior y genera claves de combinación para los objetos de matriz.

Methods

__call__(frame, transformation_ctx = "", info="", stageThreshold=0, totalThreshold=0)

Aplana DynamicFrame. Asimismo, aplana los objetos anidados hasta convertirlos en elementos de nivel superior y genera claves de combinación para los objetos de matriz.

  • frame: DynamicFrame que se va a aplanar (obligatorio).

  • transformation_ctx: cadena única que se utiliza para identificar la información del estado (opcional).

  • info: cadena que está asociada a errores en la transformación (opcional).

  • stageThreshold: número máximo de errores que se pueden producir en la transformación antes de que se determine que es errónea (opcional, el valor predeterminado es cero).

  • totalThreshold: número máximo de errores que se pueden producir en total antes de que se determine que el proceso es erróneo (opcional, el valor predeterminado es cero).

Devuelve el aplanado DynamicFrame.

apply(cls, *args, **kwargs)

Heredado de GlueTransform apply.

name(cls)

Heredado de GlueTransform name.

describeArgs(cls)

Heredado de GlueTransform describeArgs.

describeReturn(cls)

Heredado de GlueTransform describeReturn.

describeTransform(cls)

Heredado de GlueTransform describeTransform.

describeErrors(cls)

Heredado de GlueTransform describeErrors.

describe(cls)

Heredado de GlueTransform describe.

Ejemplo de UnnestFrame

Los siguientes comandos crean el esquema de DynamicFrame dyf_unbox que se utiliza en este ejemplo.

dyf_unbox.printSchema() root |-- warehouse_loc: string |-- data: struct | |-- strawberry: int | |-- pineapple: int | |-- mango: int | |-- pears: null

La función Unnest del ejemplo siguiente aplana la estructura anidada data en un formato de tabla más relacional.

dyf_unnest = UnnestFrame.apply(frame = dyf_unbox) dyf_unnest.printSchema() |-- warehouse_loc: string |-- data.strawberry: int |-- data.pineapple: int |-- data.mango: int |-- data.pears: null