Paso 6. Ampliar la canalización

En esta guía, se explica cómo puedes empezar a crear canalizaciones de aprendizaje automático de AWS forma rápida y con una arquitectura concreta. Existen consideraciones adicionales para mejorar la canalización, como la gestión de metadatos, el seguimiento de los experimentos y la monitorización. Estos son temas importantes que quedan fuera del alcance de estas recomendaciones. En las siguientes secciones se analiza otro aspecto de la gestión de canalizaciones, que es la automatización de las canalizaciones.

Diferentes niveles de automatización

Aunque puedes configurar un proceso de formación de forma manual en la consola de SageMaker IA, en la práctica, recomendamos minimizar los puntos de contacto manuales durante el despliegue de los procesos de formación en aprendizaje automático para garantizar que los modelos de aprendizaje automático se desplieguen de forma coherente y repetida. En función de sus requisitos y de los problemas empresariales a los que se dirija, puede determinar e implementar una estrategia de implementación en tres niveles: semiautomática, totalmente automatizada y totalmente gestionada.

• Semiautomática: de forma predeterminada, los pasos descritos en la sección anterior siguen un enfoque semiautomatizado, ya que implementan el proceso de entrenamiento e inferencia mediante plantillas de AWS CloudFormation . Esto ayuda a garantizar la reproducibilidad de la canalización y permite cambiarla y actualizarla fácilmente.

• Totalmente automatizado: una opción más avanzada es utilizar la integración y el despliegue continuos (CI/CD) to the development, staging, and production environments. Incorporating CI/CDlas prácticas aplicadas al despliegue del proceso de formación pueden garantizar que la automatización incluya tanto la trazabilidad como la calidad).

• Totalmente gestionado: en última instancia, puede desarrollar un sistema totalmente gestionado para poder implementar un proceso de formación en aprendizaje automático con un conjunto de sencillos manifiestos, y el sistema podrá autoconfigurar y coordinar los servicios necesarios AWS .

En estas recomendaciones elegimos presentar una arquitectura concreta. Sin embargo, hay tecnologías alternativas que puede considerar. En las dos secciones siguientes se analizan algunas opciones alternativas para la plataforma y el motor de orquestación.

Diferentes plataformas para cargas de trabajo de ML

Amazon SageMaker AI es el servicio AWS gestionado para la formación y el servicio de modelos de aprendizaje automático. Muchos usuarios aprecian su amplia gama de funciones integradas y las numerosas opciones que ofrece para ejecutar cargas de trabajo de aprendizaje automático. SageMaker La IA es especialmente útil si recién está empezando a implementar el aprendizaje automático en la nube. Las principales características de la SageMaker IA incluyen:

• Trazabilidad integrada (que incluye el etiquetado, el entrenamiento, el seguimiento de modelos, la optimización y la inferencia).

• Opciones integradas de un solo clic para entrenamiento e inferencia con una experiencia mínima en Python y ML.

• Ajuste avanzado de hiperparámetros.

• Soporte para los principales marcos de inteligencia artificial y machine learning (ML/AI) y contenedores Docker personalizados.

• Capacidades de monitorización integradas.

• Seguimiento integrado de los historiales, incluidos los trabajos de entrenamiento, los trabajos de procesamiento, los trabajos de transformación por lotes, los modelos, los puntos de conexión y la capacidad de búsqueda. Algunos historiales, como los de entrenamiento, procesamiento y transformación por lotes, son inmutables y solo se pueden adjuntar.

Una de las alternativas al uso de la SageMaker IA es AWS Batch. AWS Batch proporciona un nivel inferior de control sobre el procesamiento y la organización de su entorno, pero no está diseñado a medida para el aprendizaje automático. Algunas de sus características principales incluyen:

• Out-of-the-box escalado automático de los recursos informáticos en función de la carga de trabajo.

• Out-of-the-box compatibilidad con la prioridad de las tareas, los reintentos y las dependencias entre las tareas.

• Enfoque basado en colas que permite crear trabajos recurrentes y según demanda.

• Soporte para cargas de trabajo de CPU y GPU. La capacidad de usar la GPU para crear modelos de ML es fundamental, ya que la GPU puede acelerar el proceso de entrenamiento de manera significativa, especialmente en el caso de los modelos de aprendizaje profundo.

• Capacidad de definir una imagen de máquina de Amazon (AMI) personalizada para el entorno informático.

Diferentes motores para la orquestación de canalizaciones

El segundo componente principal es la capa de orquestación de canalizaciones. AWS proporciona Step Functions para una experiencia de orquestación totalmente gestionada. Una alternativa popular a Step Functions es Apache Airflow. Cuando tome una decisión entre los dos, tenga en cuenta los siguientes factores:

• Infraestructura necesaria: AWS Step Functions es un servicio totalmente gestionado y sin servidores, mientras que Airflow requiere la gestión de su propia infraestructura y se basa en un software de código abierto. Como resultado, Step Functions proporciona una alta disponibilidad desde el primer momento, mientras que la administración de Apache Airflow requiere pasos adicionales.

• Capacidades de programación: tanto Step Functions como Airflow ofrecen funcionalidades comparables.

• Capacidades de visualización e interfaz de usuario: tanto Step Functions como Airflow ofrecen funcionalidades comparables.

• Pasar variables dentro del gráfico computacional: Step Functions proporciona una funcionalidad limitada para usar AWS Lambda funciones, mientras que Airflow proporciona XCom interfaces.

• Uso: Step Functions es muy popular entre AWS los clientes y Airflow ha sido ampliamente adoptado por la comunidad de ingenieros de datos.