Conversión de SSIS a AWS Glue con AWS SCT - AWS Schema Conversion Tool

Las traducciones son generadas a través de traducción automática. En caso de conflicto entre la traducción y la version original de inglés, prevalecerá la version en inglés.

Conversión de SSIS a AWS Glue con AWS SCT

A continuación se explica cómo convertir paquetes de Microsoft SQL Server Integration Services (SSIS) a AWS Glue mediante AWS SCT.

Para convertir paquetes de Microsoft SSIS a AWS Glue, utilice la versión 1.0.642 de AWS SCT o una versión posterior. También debe tener un proyecto de SSIS con paquetes de ETL (archivos .dtsx, .conmgr y .params) en la carpeta local.

No es necesario instalar un servidor SSIS. El proceso de conversión recorre los archivos de SSIS locales.

Para convertir un paquete de SSIS a AWS Glue mediante AWS SCT
  1. Cree un proyecto nuevo en AWS SCT o abra un proyecto existente. Para obtener más información, consulte Creación de un proyecto de AWS SCT.

  2. Seleccione Agregar origen en el menú para añadir un paquete de SSIS de origen nuevo al proyecto.

  3. Elija SQL Server Integration Services y complete lo siguiente:

    • Nombre de conexión: introduzca el nombre de la conexión. AWS SCT muestra este nombre en el árbol de metadatos.

    • Carpeta de paquetes de SSIS: elija la ruta a la carpeta del proyecto de SSIS en la que estén los paquetes.

    AWS SCT lee los archivos del proyecto (archivos con las extensiones .dtsx, .conmgr o .params) de la carpeta local y los analiza. A continuación, los organiza en un árbol de categorías de AWS SCT.

  4. Seleccione Agregar destino en el menú para añadir una plataforma de destino nueva para convertir los paquetes de SSIS de origen.

  5. Elija AWS Glue y complete lo siguiente:

    • Nombre de conexión: introduzca el nombre de la conexión. AWS SCT muestra este nombre en el árbol de metadatos.

    • Copiar del perfil de AWS: elija el perfil que desee utilizar.

    • Clave de acceso de AWS: introduzca la clave de acceso de AWS.

    • Clave secreta de AWS: introduzca su clave secreta de AWS.

    • Región: seleccione la Región de AWS que quiera utilizar de la lista.

    • Carpeta del bucket de Amazon S3: introduzca la ruta de la carpeta del bucket de Amazon S3 que va a utilizar.

    Puede utilizar un destino de AWS Glue virtual. En este caso, no es necesario especificar las credenciales de conexión. Para obtener más información, consulte Usar destinos virtuales.

  6. Cree una nueva regla de asignación que incluya su paquete de SSIS de origen y su destino de AWS Glue. Para obtener más información, consulte Cómo agregar una regla de asignación nueva.

  7. En el menú Ver, seleccione Vista principal.

  8. En la vista de árbol de SSIS, abra el menú contextual (clic secundario) de Administradores de conexiones y, a continuación, elija Configurar conexiones.

  9. Configure el administrador de conexiones del proyecto.

    Para configurar una asignación de conexiones para los administradores de conexiones de SSIS, especifique la conexión de AWS Glue para el administrador de conexiones de SSIS correspondiente. Asegúrese de que sus conexiones de AWS Glue estén creadas.

    1. En Conexiones, seleccione Conexiones de proyecto.

    2. En Conexión del catálogo de Glue, elija la conexión de AWS Glue correspondiente.

  10. Configure el administrador de conexiones de paquetes:

    1. En Conexiones, elija el paquete.

    2. En Conexión del catálogo de Glue, elija la conexión de AWS Glue correspondiente.

    3. Repita estas acciones para todas las conexiones disponibles para el paquete.

  11. Seleccione Aplicar.

  12. Convierta el paquete. En la vista de árbol de origen, busque Paquetes. Abra el menú contextual del paquete (clic secundario) y elija Convertir paquete.

  13. Guarde el script convertido en Amazon S3. En la vista de árbol de destino, busque Scripts del paquete. Abra el menú contextual del paquete (clic secundario) del script convertido y elija Guardar en S3.

  14. Configure su trabajo de AWS Glue. En la vista de árbol de destino, busque Scripts del paquete. Abra el menú contextual del paquete (clic secundario) del script convertido y elija Configurar trabajo de AWS Glue.

  15. Rellene las secciones de configuración:

    1. Rellene la sección Diseñar flujo de datos:

      • Estrategia de ejecución: elija cómo el trabajo ejecutará los scripts de ETL. Elija SEQUENTIAL para ejecutar los scripts en el orden especificado en el asistente. Elija PARALLEL para ejecutar los scripts en paralelo, sin tener en cuenta el orden especificado en el asistente.

      • Scripts: elija el nombre del script convertido.

      • Elija Siguiente.

    2. Rellene la sección Propiedades del trabajo:

      • Nombre: introduzca el nombre de su trabajo de AWS Glue.

      • Rol de IAM: elija el rol de IAM que se utiliza para dar una autorización sobre los recursos que se utilizan para ejecutar el trabajo y obtener acceso a los almacenes de datos.

      • Nombre del archivo de script: introduzca el nombre del script convertido.

      • Ruta de S3 del archivo de script: introduzca la ruta de Amazon S3 al script convertido.

      • Cifrar el script con SSE-S3: elija esta opción para proteger los datos con el cifrado del lado del servidor con claves de cifrado administradas por Amazon S3 (SSE-S3).

      • Directorio temporal: introduzca la ruta de Amazon S3 a un directorio temporal para obtener resultados intermedios. las transformaciones integradas AWS Glue y AWS Glue utilizan este directorio para leer o escribir en Amazon Redshift.

      • AWS SCT genera automáticamente la ruta para las bibliotecas de Python. Puede revisar esta ruta en la ruta de la biblioteca de Python generada. No puede editar esta ruta generada automáticamente. Para utilizar bibliotecas de Python adicionales, introduzca la ruta en Ruta de la biblioteca de python del usuario.

      • Ruta de la biblioteca de python del usuario: introduzca las rutas para bibliotecas de python del usuario opcionales. Separe las rutas de Amazon S3 con comas.

      • Ruta de archivos .jar dependientes: introduzca la ruta para los archivos .jar dependientes. Separe las rutas de Amazon S3 con comas.

      • Ruta de archivos de referencia: introduzca las rutas de los archivos adicionales, como los archivos de configuración, que requiera el script. Separe las rutas de Amazon S3 con comas.

      • Capacidad máxima: introduzca el número máximo de unidades de procesamiento de datos (DPU) de AWS Glue que se pueden asignar cuando se ejecuta este trabajo. Escriba cualquier número entero entre 2 y 100. El valor predeterminado es 2.

      • Concurrencia máxima: introduzca el número máximo de ejecuciones concurrentes que están permitidas para este trabajo. El valor predeterminado es 1. AWS Glue devuelve un error cuando se llega a este umbral.

      • Tiempo de espera del trabajo (minutos): introduzca el valor del tiempo de espera en su trabajo de ETL como protección contra los trabajos fuera de control. El valor predeterminado es 2 880 minutos (48 horas) para los trabajos por lotes. Cuando el trabajo supera este límite, el estado de ejecución de trabajo cambia a TIMEOUT.

      • Umbral de notificación de retraso (minutos): introduzca el límite en minutos antes de que AWS SCT envíe una notificación de retraso.

      • Número de reintentos: introduzca el número de veces (de 0 a 10) que AWS Glue debe reiniciar automáticamente el trabajo en caso de que se produzca un error. Los trabajos que alcanzan el límite de tiempo de espera no se reinician. El valor predeterminado es 0.

      • Elija Siguiente.

    3. Configure las conexiones necesarias:

      1. En Todas las conexiones, elija las conexiones de AWS Glue necesarias y agréguelas a la lista Conexiones seleccionadas.

      2. Elija Finalizar.

  16. Cree un trabajo de AWS Glue configurado. En la vista de árbol de destino, busque y amplíe Trabajos de ETL. Abra el menú contextual (clic secundario) del trabajo de ETL que ha configurado y elija Crear trabajo de AWS Glue.

  17. Ejecute el trabajo de AWS Glue:

    1. Abra la consola de AWS Glue en https://console.aws.amazon.com/glue/.

    2. En el panel de navegación, seleccione Jobs (Trabajos).

    3. Seleccione Agregar trabajo y, a continuación, elija el trabajo que desee ejecutar.

    4. En el menú Acciones, elija Ejecutar.

Componentes de SSIS que AWS SCT puede convertir a AWS Glue

Puede utilizar AWS SCT para convertir los componentes de flujo de datos y flujo de control, así como los contenedores, los parámetros y las variables.

Entre los componentes de flujo de datos que se admiten se incluyen los siguientes:

  • Destino de ADO NET

  • Origen de ADO NET

  • Agregado

  • Transformación de caché

  • Transformación de mapas de caracteres

  • Transformación dividida condicional

  • Transformación de columnas de copia

  • Transformación de conversión de datos

  • Transformación de columnas derivadas

  • Destino de Excel

  • Fuente de Excel

  • Transformación de columnas de exportación

  • Destino de archivo sin formato

  • Origen de archivo sin formato

  • Transformación de búsquedas difusas

  • Transformación de columnas de importación

  • Transformación de búsquedas

  • Transformación de combinaciones de fusión

  • Transformación de fusiones

  • Transformación de multidifusiones

  • Destino de ODBC

  • Origen de ODBC

  • Transformación de comandos de OLE DB

  • Destino de OLE DB

  • Origen de OLE DB

  • Transformación de muestreos porcentuales

  • Transformación de tablas dinámicas

  • Destino de archivo sin procesar

  • Origen de archivo sin procesar

  • Destino de RecordSet

  • Transformación de recuentos de filas

  • Transformación de muestreos de filas

  • Transformación de datos

  • Destino de SQL Server

  • Transformación de todas las uniones

  • Transformación de tablas no dinámicas

  • Origen de XML

Entre los nodos de flujo de control que se admiten se incluyen:

  • Tarea de inserción masiva

  • Tarea ejecutar paquete

  • Tarea ejecutar SQL

  • Tarea ejecutar instrucción T-SQL

  • Tipo de expresión

  • Tarea del sistema de archivos

  • Tarea notificar operador

  • Tarea enviar correo

Entre los contenedores de SSIS que se admiten se incluyen:

  • Para contenedor de bucles

  • Contenedor de bucles de Foreach

  • Contenedor de secuencias