Migración de cargas de trabajo de Step Functions AWS Data Pipeline a Step Functions

AWS lanzó el AWS Data Pipeline servicio en 2012. En ese momento, los clientes querían un servicio que les permitiera usar una serie de opciones de computación para mover datos entre diferentes orígenes de datos. A medida que las necesidades de transferencia de datos cambiaban con el tiempo, también lo han hecho las soluciones para esas necesidades. Ahora tiene la opción de elegir la solución que mejor se adapte a sus requisitos empresariales. Por ejemplo, puede hacer lo siguiente:

• Usar Step Functions para orquestar flujos de trabajo entre varios Servicios de AWS.

• Usar Amazon Managed Workflows para Apache Airflow (Amazon MWAA) para gestionar la orquestación de flujos de trabajo de Apache Airflow.

• Se utiliza AWS Glue para ejecutar y organizar aplicaciones de Apache Spark.

Puede migrar los casos de uso típicos AWS Data Pipeline a Step Functions o Amazon MWAA. AWS Glue La opción que elija depende de su carga de trabajo actual en AWS Data Pipeline. En este tema se explica cómo migrar de Step Functions AWS Data Pipeline a Step Functions.

Migración de cargas de trabajo de AWS Data Pipeline

Step Functions es un servicio de orquestación sin servidor donde se pueden crear flujos de trabajo para aplicaciones esenciales desde el punto de vista empresarial. Con Workflow Studio de Step Functions, puede crear flujos de trabajo e integrarlos con más de 11 000 acciones de API de más de 250 Servicios de AWS. Esto incluye Servicios de AWS Amazon EMR y Amazon DynamoDB. AWS Lambda También puede usar Step Functions para orquestar las canalizaciones de procesamiento de datos, gestionar los errores y trabajar con los límites de regulación en Servicios de AWS subyacentes. Puede crear flujos de trabajo que procesen y publiquen modelos de machine learning, orquestar microservicios y gestionar flujos de trabajo de extracción, transformación y carga (ETL) con AWS Glue. También puede crear flujos de trabajo automatizados y de larga duración para aplicaciones que requieren la interacción humana.

Step Functions es un servicio totalmente gestionado por AWS. Esto significa que AWS gestiona tareas por usted, como el mantenimiento de la infraestructura, la aplicación de parches a los trabajadores y la gestión de las actualizaciones de las versiones del sistema operativo.

Cuando su caso de uso cumpla las siguientes condiciones, le recomendamos que migre de Step Functions AWS Data Pipeline a:

• Es preferible un servicio de orquestación de flujos de trabajo sin servidor y de alta disponibilidad.

• Es necesaria una solución que cobre en la granularidad de la ejecución de una sola tarea.

• Sus cargas de trabajo implican la organización de tareas para muchas otras Servicios de AWS, como Amazon EMR, Lambda AWS Glue o DynamoDB.

• Necesita una solución de bajo código con un diseñador visual para la creación de flujos de trabajo. drag-and-drop Esta solución no debería requerir el aprendizaje de conceptos de programación complejos y desconocidos.

• Necesita un servicio que se integre con más de 250 Servicios de AWS que abarquen más de 11 000 acciones de API. Este servicio también debe integrarse con servicios y actividades personalizados externos a. AWS

Asignación de conceptos entre Step Functions y AWS Data Pipeline

AWS Data Pipeline y Step Functions comparten algunos conceptos comunes. Por ejemplo, para definir tus flujos de trabajo, utilizas el formato JSON tanto en Step Functions como AWS Data Pipeline en Step Functions. En Step Functions, se utiliza Lenguaje de estados de Amazon, que es un lenguaje estructurado basado en JSON. Use Amazon States Language (ASL) para definir sus flujos de trabajo y cambiar entre las representaciones textuales y visuales del flujo de trabajo. Este formato basado en JSON ayuda a simplificar el almacenamiento de los flujos de trabajo en una herramienta de control de origen. También contribuye a gestionar varias versiones de los flujos de trabajo, controlar su acceso o automatizar su orquestación con métodos de CI/CD.

En la siguiente tabla se describe la asignación entre los principales conceptos que se utilizan en ambos servicios. La columna de conceptos de Data Pipeline de la izquierda muestra los conceptos de Step Functions AWS Data Pipeline, mientras que la columna de conceptos de Step Functions, de la derecha, muestra los conceptos equivalentes de Step Functions.

Conceptos de canalización de datos	Conceptos de Step Functions
Canalizaciones	Flujos de trabajo
Definición de la canalización	Lenguaje de estados de Amazon (ASL)
Actividades	Estados y Estado de la tarea
Instancias	Ejecuciones
Attempts	Captadores y reintentadores
Calendario de canalización	Ejecuciones con Amazon EventBridge Scheduler Eventos activados a través EventBridge de Pipes
Expresiones y funciones de canalizaciones	Funciones intrínsecas Funciones de Lambda mediante la integración de servicios

Proyectos de muestra de Step Functions

Para obtener una introducción a Step Functions, consulte el siguiente vídeo:

En la siguiente lista se describen algunos proyectos de muestra que implementan los casos de uso de AWS Data Pipeline más comunes con Step Functions. Puedes usar estos proyectos de ejemplo como referencia para migrar de Step Functions AWS Data Pipeline a Step Functions. También puede utilizarlos como referencia para crear sus propios flujos de trabajo e integrarlos con los Servicios de AWS compatibles según su caso de uso.

• Administrar un trabajo de Amazon EMR

• Ejecute un trabajo de procesamiento de datos en Amazon EMR sin servidor

• Ejecución de trabajos de Hive/Pig/Hadoop

• Consulte conjuntos de datos de gran tamaño (Amazon Athena, Amazon S3 AWS Glue, Amazon SNS)

• Ejecutar flujos de trabajo de ETL/ELT con Amazon Redshift

• Organizar rastreadores AWS Glue

• Ejecutar un script de intérprete de comandos con Step Functions

Para obtener más información acerca de Step Functions, consulte los temas y recursos siguientes:

• Tutoriales de Step Functions

• Proyectos de muestra para Step Functions

• El taller de AWS Step Functions

Comparación de precios

AWS Data Pipeline su precio se basa en el número de canalizaciones y su nivel de uso. Las actividades que se ejecutan más de una vez al día (frecuencia alta) tienen un precio de 1 USD al mes por actividad. Las actividades que se ejecutan una vez al día o menos (frecuencia baja) tienen un precio de 0,60 USD al mes por actividad. Las canalizaciones inactivas tienen un precio de 1 USD por canalización. Para obtener más información acerca de los precios, consulte la página Precios de AWS Data Pipeline.

Step Functions tiene dos tipos de flujos de trabajo: estándar y rápido. Cada tipo de flujo de trabajo tiene un modelo de precios diferente. Esta comparación se basa en el flujo de trabajo estándar, ya que es el que mejor se adapta a los casos de uso comunes de AWS Data Pipeline. Los flujos de trabajo estándar tienen un precio de 0,025 USD por cada 1000 transiciones de estado. Las máquinas de estado inactivas no tienen costo; solo se paga por lo que se usa. Para obtener más información acerca de los precios, consulte la página Precios de AWS Step Functions.