Despliegue y automatización

Pregunta	Ejemplo de respuesta
¿Cuáles son los requisitos de escalado y equilibrio de carga?	Enrutamiento inteligente de solicitudes; sistema de escalado automático; optimización para arranques rápidos en frío mediante el empleo de técnicas como el almacenamiento en caché de modelos, la carga diferida y los sistemas de almacenamiento distribuido; diseño del sistema para gestionar patrones de tráfico impredecibles y a ráfagas.
¿Cuáles son los requisitos para actualizar e implementar nuevas versiones?	Implementaciones azules y verdes, versiones preliminares, actualizaciones progresivas, etc.
¿Cuáles son los requisitos para la recuperación ante desastres y la continuidad empresarial?	Procedimientos de backup y restauración, mecanismos de conmutación por error, configuraciones de alta disponibilidad, etc.
¿Cuáles son los requisitos para automatizar la formación, el despliegue y la gestión del modelo de IA generativa?	Proceso de formación automatizado, despliegue continuo, escalado automático, etc.
¿Cómo se actualizará y reentrenará el modelo de IA generativa a medida que haya nuevos datos disponibles?	Mediante el reentrenamiento periódico, el aprendizaje incremental, el aprendizaje por transferencia, etc.
¿Cuáles son los requisitos para automatizar la supervisión y la gestión?	Alertas automatizadas, escalado automático, recuperación automática, etc.
¿Cuál es su entorno de despliegue preferido para las cargas de trabajo generativas de IA?	Un enfoque híbrido que utiliza AWS para el entrenamiento de modelos y nuestra infraestructura local para realizar inferencias a fin de cumplir con los requisitos de residencia de los datos.
¿Prefiere alguna plataforma en la nube específica para las implementaciones generativas de IA?	Servicios de AWS, en particular Amazon SageMaker AI para el desarrollo e implementación de modelos y Amazon Bedrock para los modelos básicos.
¿Qué tecnologías de contenedorización está considerando para las cargas de trabajo generativas de IA?	Queremos estandarizar los contenedores Docker organizados con Kubernetes para garantizar la portabilidad y la escalabilidad en nuestro entorno híbrido.
¿Tiene alguna herramienta preferida para la CI/CD en su cartera de IA generativa?	GitLab para el control de versiones y las canalizaciones de CI/CD, integradas con Jenkins para automatizar las pruebas y el despliegue.
¿Qué herramientas de organización está considerando para gestionar los flujos de trabajo generativos de IA?	Apache Airflow para la organización del flujo de trabajo, especialmente para el preprocesamiento de datos y los procesos de formación de modelos.
¿Tiene algún requisito específico para que la infraestructura local soporte las cargas de trabajo generativas de IA?	Estamos invirtiendo en servidores acelerados por GPU y redes de alta velocidad para soportar las cargas de trabajo de inferencia locales.
¿Cómo piensa gestionar el control de versiones y la implementación de modelos en diferentes entornos?	Planeamos utilizarlos MLflow para el seguimiento de modelos y el control de versiones, e integrarlos con nuestra infraestructura de Kubernetes para una implementación perfecta en todos los entornos.
¿Qué herramientas de monitoreo y observabilidad está considerando para los despliegues de IA generativa?	Prometheus para la recopilación de métricas y Grafana para la visualización, con soluciones de registro personalizadas adicionales para el monitoreo específico del modelo.
¿Cómo está abordando el movimiento y la sincronización de datos en un modelo de implementación híbrido?	Lo utilizaremos AWS DataSync para una transferencia de datos eficiente entre el almacenamiento local y AWS, con tareas de sincronización automatizadas que se programarán en función de nuestros ciclos de formación.
¿Qué medidas de seguridad están implementando para los despliegues generativos de IA en diferentes entornos?	Usaremos la IAM para los recursos en la nube y la integraremos con nuestro Active Directory local para implementar el end-to-end cifrado y la segmentación de la red a fin de proteger los flujos de datos.