Procesamiento de datos

A medida que crece el volumen de datos procedentes de orígenes cada vez más diversos, las organizaciones se dan cuenta de que necesitan procesar estos datos con rapidez y garantizar que toman decisiones empresariales más rápidas y con fundamento. Para procesar los datos a escala, las organizaciones deben aprovisionar recursos de manera elástica para gestionar la información que reciben de los dispositivos móviles, las aplicaciones, los satélites, el marketing y las ventas, los almacenes de datos operativos y la infraestructura, entre otros.

Step Functions proporciona la escalabilidad, la fiabilidad y la disponibilidad necesarias para gestionar correctamente los flujos de trabajo de procesamiento de datos. Con Step Functions, puede gestionar millones de ejecuciones simultáneas, ya que se escala horizontalmente y proporciona flujos de trabajo tolerantes a errores. Procese los datos más rápido mediante ejecuciones paralelas, como el tipo de estado Parallel de Step Functions, o el paralelismo dinámico, mediante su tipo de estado Map. Como parte de su flujo de trabajo, puede usar el estado Map para recorrer objetos en iteración en un almacén de datos estáticos, como un bucket de Amazon S3. Step Functions también le facilita volver a intentar ejecuciones que producen error o elegir una forma específica de tratar los errores sin necesidad de gestionar un proceso complejo.

Dependiendo de sus necesidades de procesamiento de datos, Step Functions se integra directamente con otros servicios de procesamiento de datos proporcionados por AWS, por ejemplo, AWS Batch para el procesamiento por lotes, Amazon EMR para el procesamiento de macrodatos, AWS Glue para la preparación de datos, Athena para el análisis de datos y AWS Lambda para la computación.

Entre los ejemplos de los tipos de flujos de trabajo de procesamiento de datos para los que los clientes utilizan Step Functions se incluyen:

Procesamiento de archivos, vídeos e imágenes

• Tome una conjunto de archivos de vídeo y conviértalos a otros tamaños o resoluciones que sean ideales para el dispositivo en el que se van a mostrar, como teléfonos móviles, ordenadores portátiles o televisiones.

• Tome una gran colección de fotos subidas por los usuarios y conviértalas en miniaturas o imágenes de varias resoluciones que luego puedan mostrarse en los sitios web de los usuarios.

• Tome datos semiestructurados, como un archivo CSV, y combínelos con datos no estructurados, como una factura, para elaborar un informe comercial que se envíe mensualmente a las partes interesadas de la empresa.

• Tome los datos de observación de la Tierra recopilados por los satélites, conviértalos en formatos que se alineen entre sí y, a continuación, agregue otros orígenes de datos recopilados en la Tierra para obtener información adicional.

• Tome los registros de transporte de los distintos modos de transporte para los productos y busque optimizaciones mediante simulaciones Monte Carlo. Posteriormente, envíe los informes a las organizaciones y personas que confían en usted para enviar sus mercancías.

Coordine trabajos de extracción, transformación y carga (ETL):

• Combine registros de oportunidades de venta con conjuntos de datos de métricas de marketing mediante una serie de pasos de preparación de datos usando AWS Glue y elabore informes de inteligencia empresarial que se puedan utilizar en toda la organización.

• Cree, inicie y finalice un clúster de Amazon EMR para el procesamiento de macrodatos.

Procesamiento por lotes y cargas de trabajo de computación de alto rendimiento (HPC):

• Cree canalizaciones de análisis secundarios de genómica que procesen secuencias genómicas completas sin procesar y las conviertan en llamadas variantes. Alinee archivos sin procesar con una secuencia de referencia y llame a variantes en una lista especificada de cromosomas mediante el paralelismo dinámico.

• Encuentre eficiencias en la producción de su próximo dispositivo móvil u otros equipos electrónicos mediante la simulación de varios diseños con diferentes compuestos eléctricos y químicos. Proceso sus cargas de trabajo en grandes lotes mediante diversas simulaciones para obtener el diseño óptimo.