Fase de implementación

La migración que sigue un enfoque gradual o gradual requiere nuevos desarrollos y pruebas. El AWS Schema Conversion Tool (AWS SCT) puede generar automáticamente AWS Glue trabajos a partir de los paquetes del SSIS. Esto reduce significativamente el tiempo y el esfuerzo de migración. O bien, puedes usar AWS Glue Studio para el desarrollo basado en una interfaz gráfica o crear bibliotecas de Spark que puedas ejecutar en Amazon EMR o en AWS Glue Amazon EMR.

En las siguientes secciones se proporcionan consejos útiles sobre el uso de AWS SCT AWS Glue, y Amazon EMR.

AWS SCT

La siguiente ilustración de pantalla muestra un script de AWS Glue trabajo que fue convertido por. AWS SCT

AWS SCT puede convertir paquetes SSIS en AWS Glue trabajos de forma masiva. Puede editar el script para actualizar la lógica existente o añadir una nueva, en función de su nuevo diseño. Le recomendamos que siga las convenciones de nomenclatura de los guiones AWS SCT convertidos para personalizarlos.

Para obtener más información, consulte Convertir el SSIS para AWS Glue usarlo AWS SCT en la AWS SCT documentación.

AWS Glue

AWS Glue Studio proporciona una interfaz gráfica y una experiencia de desarrollo similar a la de SSIS, como se muestra en la siguiente pantalla.

Si prefiere no utilizar una interfaz gráfica, también puede ejecutar sus scripts personalizados con las bibliotecas de Python necesarias desde la AWS Glue consola. Para obtener más información, consulte Proporcionar sus propios scripts personalizados en la AWS Glue documentación.

AWS Glue proporciona un conjunto de transformaciones integradas para procesar los datos. Son similares a las transformaciones de flujo de datos del SSIS. Siga estas prácticas recomendadas al migrar sus trabajos de ETL de SSIS mediante: AWS Glue

• Prepare un mapeo desde las AWS Glue transformaciones hasta las transformaciones de SSIS equivalentes.

• Si sus transformaciones no se pueden asignar a AWS Glue transformaciones, créelas mediante un script personalizado de Python o Scala.

• Para el registro personalizado (como filas leídas, filas escritas o registros incorrectos), usa scripts personalizados además de Amazon CloudWatch.

• Añada un terminal de desarrollo para desarrollar y depurar scripts personalizados de forma local.

Amazon EMR

Puede ejecutar scripts personalizados (escritos en Python o Scala) o bibliotecas de Python compiladas en clústeres de EMR, como ocurre con. AWS Glue Siga estas prácticas recomendadas:

• Comience con tipos de instancias optimizados para memoria y, al mismo tiempo, cree clústeres de EMR con el marco Spark. (SSIS usa búferes de memoria).

• Cree métodos genéricos de Python que sean equivalentes a cada tarea o transformación de SSIS. Por ejemplo, en la siguiente ilustración, un método que toma dos marcos de datos como entrada produce un tercer marco de datos con registros coincidentes de los dos marcos de datos como salida. Esto funciona como una transformación de fusión y unión.

Testeo

Se requiere un marco de pruebas para validar la integridad y exactitud de los datos. Este marco debe cubrir todos los escenarios existentes y cualquier mejora que haya realizado al migrar sus trabajos. AWS

• Validación de integridad:

  • Todos los trabajos se migran a su estado objetivo.

  • Todas las funciones se migran en cada trabajo.

  • Están disponibles todos los tipos de registros, incluidos los detalles de la ejecución de los trabajos, los mensajes de error, los registros incorrectos y el recuento de filas.

• Validación de corrección:

  • La calidad de los datos es uniforme en los entornos nuevos y existentes.

  • Todas las columnas de todas las tablas coinciden o las tablas están mejoradas AWS.

  • Toda la información de auditoría y registro coincide.

También debe comprobar que el rendimiento de los trabajos migrados coincide con el rendimiento de los trabajos actuales.