Introducción a las transformaciones visuales personalizadas - AWS Glue

Introducción a las transformaciones visuales personalizadas

Para crear una transformación visual personalizada, siga estos pasos.

  • Paso 1. Crear un archivo de configuración JSON

  • Paso 2. Implementar la lógica de transformación

  • Paso 3. Validar la transformación visual personalizada

  • Paso 4. Actualizar la transformación visual personalizada según sea necesario

  • Paso 5. Utilizar la transformación visual personalizada en AWS Glue Studio

Para empezar, configure el bucket de Amazon S3 y continúe con el Paso 1. Crear un archivo de configuración JSON.

Requisitos previos

Las transformaciones proporcionadas por los clientes residen en una cuenta de AWS de cliente. Esa cuenta es la propietaria de las transformaciones y, por lo tanto, tiene todos los permisos para verlas (buscarlas y usarlas), editarlas o eliminarlas.

Para utilizar una transformación personalizada en AWS Glue Studio, tendrá que crear y subir dos archivos al bucket de activos de Amazon S3 de esa cuenta de AWS:

  • Archivo Python: contiene la función de transformación

  • Archivo JSON: describe la transformación. También se conoce como el archivo de configuración que se requiere para definir la transformación.

Para emparejar los archivos, utilice el mismo nombre para ambos. Por ejemplo:

  • myTransform.json

  • myTransform.py

Si lo desea, puede dar a una transformación visual personalizada un icono personalizado al proporcionar un archivo SVG que contenga el icono. Para emparejar los archivos, utilice el mismo nombre para el icono:

  • myTransform.svg

AWS Glue Studio los combinará automáticamente mediante los nombres de archivo correspondientes. Los nombres de los archivos no pueden ser los mismos para los módulos existentes.

AWS Glue Studio importará el archivo como un módulo (por ejemplo, import myTransform) en el script del trabajo. Por lo tanto, el nombre del archivo debe seguir las mismas reglas de nomenclatura establecidas para los nombres de variables de Python (identificadores). En concreto, deben empezar por una letra o un guion bajo y estar compuestos en su totalidad por letras, dígitos o guiones bajos.

nota

Asegúrese de que el nombre del archivo de transformación no entre en conflicto con los módulos de Python cargados existentes (por ejemplo, sys, array, copy, etc.) para evitar problemas inesperados en tiempo de ejecución.

Configuración del bucket de Amazon S3

Las transformaciones que cree se almacenan en Amazon S3 y son propiedad de su cuenta de AWS. Para crear nuevas transformaciones visuales personalizadas, basta con que suba archivos (json y py) a la carpeta de activos de Amazon S3, en la que se almacenan actualmente los scripts de todos los trabajos (por ejemplo, s3://aws-glue-assets-<accountid>-<region>/transforms). Si utiliza un icono personalizado, cárguelo también. De forma predeterminada, AWS Glue Studio leerá todos los archivos. json de la carpeta /transforms en el mismo bucket de S3.