Gestión de cargas de trabajo de IA a escala

Pasar las aplicaciones de programas piloto a la producción completa es donde las operaciones se complican. Una empresa de servicios financieros, por ejemplo, a menudo ejecuta un modelo de detección de fraude que califica las transacciones en tiempo real junto con un asistente orientado al cliente. Cada uno de estos escenarios tiene distintos requisitos de latencia, necesidades de residencia de datos y controles de cumplimiento.

Hoy en día, la mayoría de las organizaciones empresariales en producción gestionan muchos sistemas como este a la vez. Los desafíos no se hacen más fáciles a medida que se agregan más sistemas; en cambio, se multiplican. En un estudio del IBM Institute for Business Value (IBV), el 77 % de los ejecutivos afirma que necesita adoptar la IA rápidamente para seguir siendo competitivos. Sin embargo, solo el 25 % está totalmente de acuerdo en que la infraestructura de TI de su organización puede admitir el escalado de la IA en toda la empresa.

El entrenamiento de modelos y la inferencia de IA plantean requisitos distintos. El entrenamiento requiere computación masiva que se ejecute continuamente en clústeres de procesadores especializados. La inferencia, por el contrario, se ejecuta en producción, donde la latencia y la disponibilidad importan más que la potencia de procesamiento bruta.

Según McKinsey, se prevé que las cargas de trabajo de inferencia representen más de la mitad de toda la computación de IA para 2030. Este cambio implica que la ejecución eficiente de los modelos se está convirtiendo en una preocupación empresarial tan urgente como su creación.¹

Dada toda esta complejidad, la gestión de cargas de trabajo de IA a escala no es solo un problema tecnológico. Es una cuestión operativa. Las organizaciones que hacen bien este trabajo son las que establecen las mejores prácticas en infraestructura, gobernanza y operaciones diarias.

En comparación con las cargas de trabajo tradicionales, las cargas de trabajo de IA suelen procesar datos no estructurados (por ejemplo, imágenes, texto o audio), lo que introduce complejidades para las que la infraestructura de TI estándar no fue diseñada.

La capacidad de computación se convierte en el recurso más sobrecargado. El entrenamiento y la inferencia requieren unidades de procesamiento gráfico (GPU) y unidades de procesamiento tensorial (TPU), que son más costosas de aprovisionar y operar que la computación estándar. Como resultado, la previsibilidad de los costos y la asignación de recursos se convierten en desafíos continuos.

La infraestructura del centro de datos agrega otra capa. El entrenamiento de cargas de trabajo de IA requiere clústeres de computación de alta densidad con sistemas de refrigeración avanzados, mientras que las cargas de trabajo de inferencia necesitan un acceso de baja latencia a los datos y las aplicaciones. Ambos ejercen presión sobre infraestructuras de centros de datos más antiguas. Las limitaciones energéticas también influyen cada vez más en la escalabilidad, lo que hace que la disponibilidad de energía sea una preocupación importante.

Los requisitos de rendimiento también se vuelven más complejos. Los retrasos y cuellos de botella no pueden ralentizar las aplicaciones de producción y las cargas de trabajo deben estar cerca de los datos y aplicaciones que sirven, como los ajustes perimetrales.

La gobernanza también aporta complejidad a nivel organizacional y de cumplimiento. A medida que se multiplican los sistemas, resulta cada vez más difícil mantener un linaje de datos coherente, registros de auditoría y controles de ciberseguridad. Los requisitos de residencia y soberanía de los datos, que varían según la región, plantean retos adicionales, especialmente para las organizaciones que operan a nivel internacional.

Por último, la experiencia operativa crea una brecha de habilidades para muchas empresas. La ejecución de cargas de trabajo en producción requiere conocimientos especializados en ingeniería de datos, operaciones de machine learning (MLOps) y gestión de infraestructura, que muchas organizaciones aún están desarrollando.

La gestión de múltiples sistemas en diferentes etapas del ciclo de vida también va más allá de los flujos de trabajo de TI tradicionales. Muchos equipos no están preparados para la complejidad que sigue.

Los desafíos asociados con las cargas de trabajo de IA son reales, pero son manejables. Las siguientes prácticas operativas, aplicadas de manera coherente, pueden marcar una diferencia significativa en la gestión de cargas de trabajo de IA a escala.

No todas las cargas de trabajo de IA tienen los mismos requisitos, y tratarlas como si los tuvieran lleva a un desperdicio de recursos y problemas de rendimiento. Adaptar la capacidad de procesamiento, el almacenamiento y las redes a las necesidades de cada carga de trabajo permite mantener los costos bajo control.

Los programadores de carga de trabajo ayudan a los equipos a asignar la computación de manera eficiente y evitar la compra excesiva de recursos de GPU en todos los entornos de producción.

Cuando cada equipo despliega de forma diferente, la resolución de problemas se fragmenta.

Los pipelines de datos de IA coherentes, las herramientas de monitoreo compartidas y los procesos operativos comunes reducen esa fricción a medida que crece el número de sistemas. Los equipos nuevos se ponen al día más rápido y la calidad es más fácil de mantener.

Los requisitos de cumplimiento son mucho más fáciles de incorporar desde el principio que agregarlos más adelante.

Las organizaciones que consideran la residencia de los datos, los registros de auditoría y los controles de acceso como requisitos fundamentales desde el primer momento, en lugar de como algo secundario, son las que tienen que hacer menos ajustes cuando cambian las regulaciones. Para las organizaciones que trabajan en todas las regiones, donde los requisitos pueden diferir significativamente, este trabajo es esencial.

Para implementar la IA en entornos de producción se necesitan personas que comprendan la ingeniería de datos, las operaciones de modelos y la gestión de infraestructuras. En la mayoría de las organizaciones, esa combinación aún está en desarrollo.

Ya sea mediante la contratación, la capacitación o las alianzas externas, cerrar esa brecha desde el principio garantiza el buen funcionamiento de las operaciones y mantiene los costos bajo control.

Un modelo que funciona bien en el lanzamiento no necesariamente funcionará bien seis meses después. Los datos varían, las condiciones cambian y la precisión se desvía de formas que no siempre resultan evidentes hasta que se ven afectados los resultados de la empresa.

Las herramientas de observabilidad, como Prometheus e IBM® Turbonomic, son un componente fundamental de cualquier despliegue en producción, ya que permiten realizar un seguimiento de la latencia, el rendimiento y el rendimiento de los modelos a lo largo del tiempo. Los programas de reentrenamiento y las revisiones de mantenimiento de rutina evitan que los pequeños problemas se conviertan en problemas mayores.

Un sistema es manejable. Diez sistemas en múltiples entornos, con diferentes equipos, proveedores y requisitos de cumplimiento, es un escenario mucho más complejo.

Las organizaciones que escalan sin crisis constantes son las que establecen la estructura desde el principio. Esto implica contar con procesos claros, responsabilidades bien definidas y las herramientas necesarias para mantener la visibilidad de todas las cargas de trabajo de IA que se ejecutan en producción.

Para hacer frente a los retos que plantea la gestión de cargas de trabajo de IA escalables, se requiere una infraestructura de IA especializada. Esta infraestructura incluye recursos de hardware, software, redes y almacenamiento que permiten crear, entrenar y desplegar modelos de IA de gran tamaño, como los modelos de lenguaje grandes (LLM), en centros de datos y centros de datos de IA. Desde el despliegue del modelo hasta el monitoreo continuo, cada etapa tiene necesidades de infraestructura distintas.

Los componentes de infraestructura para gestionar cargas de trabajo de IA a escala incluyen los siguientes elementos:

• Nube híbrida
• Recursos informáticos
• microservicios
• Contenerización y Kubernetes
• Pipelines y almacenamiento de datos
• MLOps y GenAIOps

Hoy en día, las organizaciones dependen de entornos multinube híbridos que combinan servicios de nube pública de diferentes proveedores y se extienden a través de múltiples infraestructuras de proveedores de la nube.

No hay ningún entorno de TI que pueda satisfacer todos los requisitos de las cargas de trabajo de IA. Las plataformas de nube pública, alojadas por proveedores como Amazon Web Services (AWS), Microsoft Azure, IBM® Cloud, y Google Cloud, ofrecen capacidad de GPU bajo demanda que se adapta a cargas de trabajo de entrenamiento a gran escala en entornos de hiperescala. Dicho esto, las cargas de trabajo de inferencia vinculadas a datos confidenciales de los clientes a menudo necesitan permanecer on premises o en una nube privada para cumplir con los requisitos normativos.

La nube híbrida brinda a las organizaciones la flexibilidad para tomar tales decisiones de ubicación en función de lo que necesita cada carga de trabajo, al tiempo que permite que las tecnologías nativas de la nube se ejecuten de manera congruente en todos los entornos.

Las cargas de trabajo de IA, en particular el entrenamiento de modelos, requieren recursos informáticos especializados, incluidas GPU (como NVIDIA) y TPU, en lugar de las unidades centrales de procesamiento (CPU) que impulsan los sistemas empresariales tradicionales.

Los marcos como TensorFlow y PyTorch están diseñados para ejecutarse en este hardware y se utilizan comúnmente para evaluar el rendimiento antes de pasar la carga de trabajo a producción. El seguimiento de la utilización de GPU y la utilización de recursos en los ciclos de entrenamiento e inferencia es esencial para mantener la rentabilidad a medida que crecen los despliegues.

Muchas organizaciones están desarrollando o transformando aplicaciones de IA para utilizar una arquitectura de microservicios, que divide las aplicaciones en componentes más pequeños y poco interconectados, centrados en funciones empresariales específicas.

Este enfoque facilita el desarrollo, escalabilidad y actualización de cargas de trabajo de IA de forma independiente y es una parte importante de la contenedorización para el despliegue en entornos híbridos.

Para comprender cómo gestionar cargas de trabajo de IA en contenedores a escala, hay que empezar con los contenedores, que son las unidades de computación por excelencia de la infraestructura nativa de la nube moderna. Los contenedores agrupan las aplicaciones y sus dependencias en unidades portátiles mediante un tiempo de ejecución de contenedores como Docker, que es una plataforma de código abierto que funciona de manera uniforme en todos los entornos.

La plataforma de orquestación de contenedores Kubernetes puede automatizar la manera en que esos contenedores se despliegan, escalan y gestionan en clústeres de Kubernetes, que consisten en nodos como máquinas físicas o máquinas virtuales. Este enfoque garantiza que las cargas de trabajo de IA se distribuyan y que los recursos se utilicen de manera eficiente mediante el equilibrio de carga y autoescalado.

Cada carga de trabajo se ejecuta en su propio pod, que Kubernetes programa y monitorea. Una carga de trabajo de IA creada y probada en un entorno puede trasladarse a otro sin necesidad de volver a crearla cuando los sistemas deban pasar de un entorno on premises a la nube.

La creación y el entrenamiento de modelos requieren un acceso rápido a grandes conjuntos de datos a través de flujos de datos confiables. Los sistemas se comunican a través de interfaces de programación de aplicaciones (API), lo que hace que el enrutamiento, el acceso y la integración de datos coherentes en todos los entornos sean esenciales a medida que crece el número de modelos.

Las cargas de trabajo de inferencia de IA necesitan conexiones de baja latencia con los datos y las aplicaciones de IA a las que dan servicio en producción. A medida que crece el número de sistemas en una organización, también lo hace la dificultad de gestionar el movimiento de datos, mantener la calidad y asegurarse de que los datos correctos lleguen al modelo correcto. Esta tecnología es donde entra en juego el almacenamiento AI.

MLOps aplica principios de DevOps al ciclo de vida del machine learning (ML) y de la IA, incluyendo la construcción, prueba, despliegue y monitoreo de modelos a través de pipelines de CI/CD. Este ciclo de vida incluye el servicio de modelos a través de la gestión continua de la producción.

Sin operaciones de machine learning (MLOP), los modelos se desvían, el reentrenamiento se retrasa y los equipos pierden visibilidad de las métricas clave de rendimiento, como la latencia y el rendimiento.

GenAIOps extiende MLOps a la IA generativa, donde los modelos fundacionales, los sistemas de RAG y los agentes de IA introducen nuevos patrones operativos. Un chatbot tradicional que recupera información es relativamente sencillo de monitorear. Un sistema de IA agéntica, como un agente virtual, puede operar de forma no lineal, eligiendo entre acciones y realizando ajustes a través de múltiples sistemas y endpoints.

La gestión de cargas de trabajo de IA escalables ofrece una serie de beneficios para las empresas que ejecutan sistemas de IA complejos:

• Visibilidad y control centralizados: la observabilidad en los despliegues y el rendimiento de la IA facilita la gestión a escala y la detección de problemas antes de que afecten al negocio. La portabilidad entre entornos también significa que los equipos no están bloqueados en un único enfoque de infraestructura a medida que cambian las necesidades.

• Eficiencia operativa: la coherencia de las herramientas y prácticas de despliegue entre equipos mantiene las operaciones en funcionamiento de forma confiable a medida que crece el número de sistemas de IA, garantizando que la funcionalidad principal se mantenga estable a medida que se agregan nuevas capacidades.

• Control de costos: sin una orquestación adecuada, los recursos de GPU se desperdician o se compran en exceso. La gestión de recursos favorece la rentabilidad a medida que crecen los despliegues de IA.

• Velocidad de comercialización: los equipos con los procesos adecuados pueden trabajar más rápido. Lo que antes tomaba meses puede suceder en semanas cuando se implementan la infraestructura y los procesos de IA adecuados.

• Cumplimiento y gobernanza: a medida que evolucionan las regulaciones, las organizaciones con gestión de cargas de trabajo de IA están mejor posicionadas para cumplir con los requisitos de residencia de datos, auditoría y transparencia.

• Innovación a escala: la infraestructura y las prácticas operativas adecuadas permiten a los equipos centrarse en la innovación en lugar de en la resolución de problemas.

La gestión de las cargas de trabajo de IA a escala se desarrolla de manera diferente en todas las industrias, pero los desafíos principales, incluidos el costo, el cumplimiento de normas y la confiabilidad, están en juego en todos los sectores.

Estos son algunos ejemplos.