Los scripts contienen el código que lleva a cabo el flujo de trabajo de extraer, transformar y cargar (ETL). Puede suministrar su propio script o bien, AWS Glue puede generarlo con su ayuda. Para obtener información sobre la creación de sus propios scripts, consulte Suministro de sus propios scripts personalizados.
Puede editar scripts en la consola de AWS Glue. Cuando edite scripts, podrá añadir orígenes, destinos y transformaciones.
Para editar un script
-
Inicie sesión en la AWS Management Console y abra la consola de AWS Glue en https://console.aws.amazon.com/glue/
. Después, seleccione pestaña Jobs (Trabajos). -
Seleccione un flujo de trabajo de la lista y, a continuación, seleccione Action (Acción), Edit script (Editar script) para abrir el editor de scripts.
También puede acceder al editor de scripts desde la página de detalles del flujo de trabajo. Elija la pestaña Script, y luego elija Edit script (Editar script).
Editor de scripts
Con el editor de scripts de AWS Glue, puede insertar, modificar y eliminar orígenes, destinos y transformaciones en el script. El editor de scripts muestra el script y un diagrama para ayudarle a visualizar el flujo de datos.
Para crear un diagrama para el script, elija Generate diagram (Genera diagrama). AWS Glue utiliza líneas de anotación en el script que comienzan con # # para representar el diagrama. Para representar correctamente el script en el diagrama, debe tener sincronizados los parámetros de las anotaciones y los parámetros del código de Apache Spark.
Con el editor de scripts, puede añadir plantillas de código cuando el cursor esté sobre el script. En la parte superior del editor, seleccione las opciones que correspondan:
-
Para agregar una tabla de orígenes al script, seleccione Source (Origen).
-
Para agregar una tabla de destinos al script, seleccione Target (Destino).
-
Para agregar una ubicación de destino al script, seleccione Target location (Ubicación de destino).
-
Para agregar una transformación al script, seleccione Transform (Transformación). Para obtener información sobre las funciones que se invocan en el script, consulte Programación de scripts de ETL de AWS Glue en PySpark.
-
Para agregar una transformación de espiga al script, seleccione Spigot (Espiga).
En el código insertado, modifique parameters en las anotaciones y el código de Apache Spark. Por ejemplo, si añade una transformación Spigot (Espiga), compruebe que path se sustituirá tanto en la anotación @args como en la línea de código output.
La pestaña Logs (Registros) muestra los registros que están asociados con el flujo de trabajo mientras se ejecuta. Aparecen las últimas 1000 líneas.
La pestaña Schema (Esquema) muestra el esquema de los orígenes y los destinos seleccionados, cuando están disponibles en el Data Catalog.
