Clase Relationalize - AWS Glue

Clase Relationalize

Aplana los esquemas anidados en un DynamicFrame y dinamiza columnas de matriz a partir del fotograma aplanado.

Methods

__call__(frame, staging_path=None, name='roottable', options=None, transformation_ctx = "", info = "", stageThreshold = 0, totalThreshold = 0)

Establece relaciones en un DynamicFrame y produce una lista de fotogramas que se genera al aplanar las columnas anidadas y dinamizar las columnas de matriz. La columna de matriz dinamizada se puede unir a la tabla raíz con la clave de combinación generada en la fase de aplanamiento.

  • frame: el DynamicFrame donde establecer relaciones (obligatorio).

  • staging_path: ruta en la que se almacenan las particiones de las tablas dinamizadas en formato CSV (opcional). Las tablas dinamizadas se leen desde esta ruta.

  • name: el nombre de la tabla de raíz (opcional).

  • options: diccionario de parámetros opcionales. En la actualidad no se utiliza.

  • transformation_ctx: cadena única que se utiliza para identificar la información del estado (opcional).

  • info: cadena que está asociada a errores en la transformación (opcional).

  • stageThreshold: número máximo de errores que se pueden producir en la transformación antes de que se determine que es errónea (opcional, el valor predeterminado es cero).

  • totalThreshold: número máximo de errores que se pueden producir en total antes de que se determine que el proceso es erróneo (opcional, el valor predeterminado es cero).

Devuelva una DynamicFrameCollection que contenga los DynamicFrames generados a partir de la operación para establecer relaciones.

apply(cls, *args, **kwargs)

Heredado de GlueTransform apply.

name(cls)

Heredado de GlueTransform name.

describeArgs(cls)

Heredado de GlueTransform describeArgs.

describeReturn(cls)

Heredado de GlueTransform describeReturn.

describeTransform(cls)

Heredado de GlueTransform describeTransform.

describeErrors(cls)

Heredado de GlueTransform describeErrors.

describe(cls)

Heredado de GlueTransform describe.

Ejemplo de Relationalize

La función Relationalize puede aplanar estructuras anidadas y crear varios marcos dinámicos. En este ejemplo, la columna cliente es una estructura anidada y Relationalize la convierte en varios DynamicFrames aplanados.

dyf_relationize = dyf_orders.relationalize("root", "/home/glue/GlueLocalOutput")

El resultado es una recopilación de DynamicFrames. Utilice la función SelectFromCollection para recuperar un DynamicFrame específico del resultado.