¿Por qué debe utilizar MLOps?

A medida que pasa de ejecutar proyectos individuales de inteligencia artificial y machine learning (IA/ML) a utilizar IA y ML para transformar su empresa a gran escala, la disciplina de las operaciones de ML (MLOps) puede ser de ayuda. MLOps tiene en cuenta los aspectos únicos de los proyectos de IA/ML en lo que respecta a la administración de proyectos, la CI/CD y el control de calidad, lo que le ayuda a mejorar los tiempos de entrega, reducir los defectos y lograr que la ciencia de datos sea más productiva. Los MLOP se refieren a una metodología que se basa en la aplicación de DevOps prácticas a las cargas de trabajo de aprendizaje automático. Para un análisis de DevOps los principios, consulte el documento técnico Introduction to DevOps on AWS. Para obtener más información sobre la implementación mediante AWS servicios, consulte Practicar la CI/CD AWS y la infraestructura como código.

Por ejemplo DevOps, MLOps se basa en un enfoque colaborativo y simplificado del ciclo de vida del desarrollo del aprendizaje automático, en el que la intersección de las personas, los procesos y la tecnología optimiza end-to-end las actividades necesarias para desarrollar, crear y operar las cargas de trabajo del aprendizaje automático.

El mLOps se centra en la intersección de la ciencia de datos y la ingeniería de datos en combinación con DevOps las prácticas existentes para agilizar la entrega de modelos a lo largo del ciclo de vida del desarrollo del aprendizaje automático. MLOps es la disciplina que integra las cargas de trabajo de ML en la administración de versiones, la CI/CD y las operaciones. MLOps requiere la integración del desarrollo de software, las operaciones, la ingeniería de datos y la ciencia de datos.

Desafíos de MLOps

Si bien MLOps puede proporcionar herramientas valiosas para ayudarle a escalar su empresa, es posible que se enfrente a determinados problemas al integrar MLOps en sus cargas de trabajo de machine learning.

Administración de proyectos

• En los proyectos de ML participan científicos de datos, un rol relativamente nuevo y que no suele integrarse en equipos multifuncionales. Estos nuevos miembros del equipo suelen hablar un lenguaje técnico muy diferente al de los propietarios de productos y los ingenieros de software, lo que agrava el problema habitual de traducir los requisitos empresariales en requisitos técnicos.

Comunicación y colaboración

• Aumentar la visibilidad de los proyectos de aprendizaje automático y permitir la colaboración entre diferentes partes interesadas, como ingenieros de datos, científicos de datos e ingenieros de aprendizaje automático, DevOps es cada vez más importante para garantizar resultados exitosos.

Todo es código

• Uso de los datos de producción en las actividades de desarrollo, ciclos de vida de experimentación más prolongados, dependencias de las canalizaciones de datos, reentrenamiento de canalizaciones de implementación y métricas únicas para evaluar el rendimiento de un modelo.

• Los modelos suelen tener un ciclo de vida independiente de las aplicaciones y los sistemas que se integran con esos modelos.

• Todo el end-to-end sistema se puede reproducir mediante código versionado y artefactos. DevOps Los proyectos utilizan la infraestructura como código (IaC) y la configuración como código (CaC) para crear entornos, y los canales como código (PaC) para garantizar patrones de CI/CD consistentes. Las canalizaciones deben integrarse con los flujos de trabajo de entrenamiento de ML y macrodatos. Esto suele significar que la canalización es una combinación de una herramienta de CI/CD tradicional y otro motor de flujo de trabajo. Muchos proyectos de ML presentan importantes preocupaciones en materia de política, por lo que es posible que la canalización también tenga que hacer cumplir esas políticas. Los datos de entrada sesgados producen resultados sesgados, lo que preocupa cada vez más a las partes interesadas de la empresa.

CI/CD

• En MLOps, los datos de origen son una entrada de primera clase, junto con el código fuente. Por eso, MLOps exige el control de versiones de los datos de origen y se inicien las ejecuciones de la canalización de ejecución cuando los datos de origen o de inferencia cambian.

• Las canalizaciones también deben versionar los modelos de ML, junto con las entradas y otras salidas, a fin de garantizar la trazabilidad.

• Las pruebas automatizadas deben incluir la validación adecuada del modelo de ML durante las fases de construcción y cuando el modelo está en producción.

• Las fases de creación pueden incluir el entrenamiento y el reentrenamiento del modelo, un proceso que requiere mucho tiempo y recursos. Las canalizaciones deben ser lo suficientemente detalladas como para que el ciclo de entrenamiento completo solo se realice cuando cambien los datos de origen o el código de ML, no cuando cambien los componentes relacionados.

• Como el código de machine learning suele ser una pequeña parte de una solución global, una canalización de implementación también puede incorporar pasos adicionales necesarios para empaquetar un modelo para que se consuma como API en otras aplicaciones y sistemas.

Monitoreo y registro

• Las fases de ingeniería de características y entrenamiento de modelos son necesarias para capturar las métricas de entrenamiento de los modelos, así como los experimentos con modelos. Para ajustar un modelo de ML, es necesario manipular la forma de los datos de entrada, así como los hiperparámetros del algoritmo, y capturar esos experimentos de forma sistemática. El seguimiento de los experimentos ayuda a los científicos de datos a trabajar de forma más eficaz y proporciona una instantánea de su trabajo que se puede reproducir.

• Los modelos de ML implementados requieren la supervisión de los datos que se transmiten al modelo para su inferencia, junto con las métricas estándar de estabilidad y rendimiento de los puntos de conexión. El sistema de supervisión también debe capturar la calidad de la salida del modelo, que se evalúa mediante una métrica de ML adecuada.

Beneficios de MLOps

Adoptar las prácticas de MLOps time-to-market le permite trabajar con más rapidez en los proyectos de aprendizaje automático, ya que ofrece las siguientes ventajas.

• Productividad: proporcionar entornos de autoservicio con acceso a conjuntos de datos seleccionados permite a los ingenieros y científicos de datos actuar con mayor rapidez y perder menos tiempo con datos ausentes o no válidos.

• Repetibilidad: la automatización de todos los pasos del MLDC ayuda a garantizar un proceso que se puede repetir, incluida la forma en que se entrena, se evalúa, se controlan las versiones y se implementa el modelo.

• Fiabilidad: la incorporación de prácticas de CI/CD permite no solo realizar una implementación rápida, sino también con mayor calidad y coherencia.

• Auditabilidad: el control de versiones de todas las entradas y salidas, desde los experimentos de ciencia de datos hasta los datos de origen y el modelo entrenado, permite demostrar exactamente cómo se creó el modelo y dónde se implementó.

• Calidad de los datos y los modelos: MLOps permite aplicar políticas que protegen contra los sesgos del modelo y realizar un seguimiento de los cambios en las propiedades estadísticas de los datos y en la calidad del modelo a lo largo del tiempo.