Creación de un flujo de trabajo a partir de un esquema en AWS Glue

Puede crear un flujo de trabajo de AWS Glue en forma manual al agregar un componente a la vez, o puede crear un flujo de trabajo desde un esquema de AWS Glue. AWS Glue incluye esquemas para casos de uso habituales. Los desarrolladores de AWS Glue pueden crear esquemas adicionales.

importante

Limite la cantidad total de trabajos, rastreadores y desencadenadores de un flujo de trabajo a 100 o menos. Si incluye más de 100, es posible que se produzcan errores al intentar reanudar o detener las ejecuciones del flujo de trabajo.

Cuando utiliza un esquema, puede generar rápidamente un flujo de trabajo para un caso de uso específico basado en el caso de uso generalizado definido por el esquema. Defina el caso de uso específico al proporcionar valores para los parámetros del esquema. Por ejemplo, un esquema que particiona un conjunto de datos podría tener como parámetros las rutas de origen y destino de Amazon S3.

AWS Glue crea un flujo de trabajo a partir de un esquema al ejecutar el esquema. La ejecución del esquema guarda los valores de parámetro proporcionados y se utiliza para realizar un seguimiento del progreso y el resultado de la creación del flujo de trabajo y sus componentes. Al solucionar problemas de un flujo de trabajo, puede visualizar la ejecución del esquema a fin de determinar los valores de los parámetros del esquema que se utilizaron para crear el flujo de trabajo.

Para crear y visualizar flujos de trabajo, necesita determinados permisos de IAM. Si desea ver una política de IAM sugerida, consulte Permisos de analista de datos para esquemas.

Puede crear un flujo de trabajo a partir de un esquema mediante la consola de AWS Glue, la API de AWS Glue o la AWS Command Line Interface (AWS CLI).

Para crear un flujo de trabajo a partir de un esquema (consola)

1. Abra la consola de AWS Glue en https://console.aws.amazon.com/glue/.

   Inicie sesión como usuario con permisos para crear un flujo de trabajo.

2. En el panel de navegación, elija Blueprints (Esquemas).

3. Seleccione un esquema y, en el menú Actions (Acciones), elija Create workflow (Crear flujo de trabajo).

4. En la página Create a workflow from <blueprint-name> (Crear un flujo de trabajo a partir de <nombre del esquema>), ingrese la siguiente información:

   Parámetros del esquema

   Estos varían en función del diseño del esquema. Si tiene preguntas sobre los parámetros, consulte al desarrollador. Los esquemas generalmente incluyen un parámetro para el nombre del flujo de trabajo.

   Rol de IAM

   El rol que asume AWS Glue para crear el flujo de trabajo y sus componentes. El rol debe tener permisos para crear y eliminar flujos de trabajo, trabajos, rastreadores y desencadenadores. Para obtener una política sugerida para el rol, consulte Permisos para roles de esquema.

5. Elija Enviar.

   Aparece la página Blueprint details (Detalles del esquema), que muestra una lista de ejecuciones del esquema en la parte inferior.

6. En la lista de ejecuciones del esquema, verifique el estado de creación del flujo de trabajo en la última ejecución del esquema.

   El estado inicial es.RUNNING Elija el botón de actualización hasta que el estado pase a SUCCEEDED o FAILED.

7. Realice alguna de las siguientes acciones:

   • Si el estado de finalización es SUCCEEDED, puede ir a la página Workflows (Flujos de trabajo), seleccionar el flujo de trabajo recién creado y ejecutarlo. Antes de ejecutar el flujo de trabajo, puede revisar el gráfico de diseño.

   • Si el estado de finalización es FAILED, seleccione la ejecución del esquema y, en el menú Actions (Acciones), elija View (Visualizar) para ver el mensaje de error.

Para obtener más información sobre flujos de trabajo y esquemas, consulte los siguientes temas.

• Información general de los flujos de trabajo en AWS Glue

• Actualizar un esquema en AWS Glue

• Creación y desarrollo manual de un flujo de trabajo en AWS Glue