¿Qué es la observabilidad de la IA?

Las herramientas tradicionales de observabilidad entienden el estado o condición interna de un sistema complejo utilizando los tres pilares de la observabilidad: registros, rastreos y métricas. Las aplicaciones de IA y los agentes de IA introducen una capa adicional de complejidad que requiere herramientas de observabilidad únicas, que pueden optimizar el rendimiento del modelo mediante el monitoreo de resultados específicos de la IA y la producción de visualizaciones (a menudo generadas por IA).

A diferencia del software tradicional, los resultados de los modelos de lenguaje grandes (LLM) y otras aplicaciones de inteligencia artificial generativa son probabilísticos. Las entradas idénticas pueden producir diferentes respuestas, lo que puede dificultar el rastreo de cómo las entradas dan forma a las salidas, causando problemas para las herramientas de observabilidad convencionales. Por lo tanto, la resolución de problemas, la depuración y el monitoreo del rendimiento son más complejos en los sistemas de IA generativa.

Además, la explicabilidad en la IA, un campo en crecimiento que busca reducir las cualidades de “caja negra” de muchos modelos de IA, aún no puede indicar completamente cómo interactúan los modelos con sistemas y flujos de trabajo informáticos más amplios. Las soluciones de observabilidad de la IA deben priorizar cosas que puedan medir y analizar eficazmente. Esta priorización es especialmente importante cuando se utilizan modelos de terceros, como OpenAI o Google, que ejecutan y gestionan los modelos de forma privada.

Los agentes de IA, sistemas que funcionan de forma autónoma para diseñar y ejecutar flujos de trabajo en todo el ecosistema de TI, plantean sus propios retos únicos en materia de observabilidad y requieren un enfoque igualmente único para la recopilación de datos. Casi la mitad de los ejecutivos encuestados en 2025 por el IBM Institute for Business Value citaron “la falta de visibilidad de los procesos de toma de decisiones de los agentes como una barrera de implementación significativa” para la IA agéntica. La observabilidad de estos sistemas es crucial para su adopción.

La observabilidad de la IA funciona recopilando métricas específicas de la IA de toda la pila tecnológica en tiempo real y organizándolas en un panel. La observabilidad de la IA brinda a los administradores un mejor insight del funcionamiento interno de los modelos de IA, al tiempo que reduce los cuellos de botella, las alucinaciones y la latencia, entre otros problemas comunes.

Las plataformas de observabilidad se centran en tres tipos principales de telemetría, que tienen sus propias variaciones específicas para los sistemas de IA: registros, trazas y métricas.

Los registros son granulares, con marca de tiempo, completos e inmutables de eventos de aplicaciones. Entre otras cosas, se pueden emplear para crear registros de alta fidelidad, milisegundo a milisegundo, de cada evento en un sistema de TI, completo con el contexto circundante. En el desarrollo de IA, los desarrolladores utilizan registros para solucionar problemas y depurar errores.

Los rastreos registran el “recorrido” de principio a fin de cada solicitud del usuario, desde la interfaz de usuario o la aplicación móvil hasta toda la arquitectura y el modelo de IA, y de regreso al usuario.

Las métricas son medidas fundamentales del estado de la aplicación y del sistema a lo largo del tiempo. Por ejemplo, las métricas se utilizan para medir cuánta memoria o capacidad de CPU utiliza una aplicación en cinco minutos, o cuánta latencia experimenta una aplicación durante un pico de uso.

Los agentes de IA, la IA generativa y otros sistemas de IA, como los modelos de lenguaje grande, también producen sus propios tipos únicos de datos de telemetría que deben recopilarse y analizarse para brindar a los administradores insights aplicables en la práctica.

El uso de tokens, la deriva del modelo y la calidad de la respuesta son tres puntos de datos centrales para la mayoría de las iniciativas de observabilidad de la IA. El monitoreo de estos factores puede ayudar a reducir los problemas de rendimiento durante el ciclo de vida de un modelo y mejorar la experiencia del usuario.

Los datos de telemetría más tradicionales, como el uso de GPU, los cuellos de botella en la infraestructura de red y el feedback de la interfaz de usuario, también pueden recopilarse mediante herramientas de observabilidad de la IA cuando sean relevantes para el modelo.

Un token es una unidad individual de lenguaje, generalmente una palabra o parte de una palabra, que puede entender un modelo de IA. La cantidad de tokens que procesa un modelo para comprender una entrada o producir resultados directamente impacta el costo y el rendimiento de una aplicación basada en LLM. Un mayor consumo de tokens puede aumentar los gastos operativos y la latencia de respuesta.

Las métricas clave para el seguimiento del uso de token incluyen:

• Tasas y costos de consumo de token, que pueden ayudar a cuantificar los gastos operativos.
  
  
• La eficiencia del token, una medida de la eficacia con la que se utiliza cada token en una interacción. Las interacciones eficientes producen resultados de alta calidad, al tiempo que minimizan la cantidad de tokens consumidos.
  
  
• Patrones de uso de tokens en diferentes tipos de instrucciones, que pueden ayudar a identificar usos de modelos que consumen muchos recursos.

Estas métricas pueden ayudar a las organizaciones a identificar oportunidades de optimización para reducir el consumo de tokens, como por ejemplo, refinando las instrucciones para transmitir más información en menos tokens. Al optimizar la utilización de los tokens, las organizaciones pueden mantener una alta calidad de respuesta y, al mismo tiempo, reducir potencialmente los costos de inferencia para las cargas de trabajo de machine learning.

A diferencia del software tradicional, los modelos de IA corren el riesgo de cambiar gradualmente su comportamiento de maneras indeseables a medida que evolucionan los datos del mundo real. Este fenómeno, conocido como deriva del modelo, puede degradar significativamente la confiabilidad y el rendimiento del sistema de IA.

Las métricas clave para el seguimiento de la deriva del modelo incluyen:

• Cambios en los patrones de respuesta a lo largo del tiempo para identificar incoherencias emergentes.
  
  
• Variaciones en la calidad o relevancia del resultado que podrían indicar una disminución en el rendimiento del modelo.
  
  
• Cambios en la latencia o utilización de recursos que pueden señalar ineficiencias computacionales.

Los mecanismos de detección de la deriva pueden proporcionar alertas tempranas cuando la precisión de un modelo disminuye para casos de uso específicos, lo que permite a los equipos intervenir antes de que el modelo interrumpa las operaciones del negocio.

Monitorear la calidad de los resultados de la IA es esencial para mantener la confianza, la confiabilidad y el cumplimiento. Las métricas clave para el seguimiento de la calidad de la respuesta incluyen:

• Frecuencia de alucinaciones en diferentes tipos de instrucciones para identificar posibles desencadenantes de resultados inexactos.
  
  
• Precisión fáctica de las respuestas generadas, aunque este indicador a menudo requiere validación externa y supervisión humana.
  
  
• Coherencia de los resultados  para entradas similares para verificar la estabilidad del modelo a lo largo del tiempo.
  
  
• Relevancia de las respuestas a las instrucciones del usuario para evaluar cómo se alinea el modelo con la intención del usuario.
  
  
• El seguimiento de la latencia es crítico para las aplicaciones de IA orientadas al usuario, donde la velocidad y la precisión a menudo requieren que se hagan concesiones. Monitorear los tiempos de respuesta en diferentes tipos de instrucciones puede ayudar a las organizaciones a identificar cuellos de botella en el rendimiento e ineficiencias computacionales.

OpenTelemetry (OTel), un marco de código abierto para recopilar y transmitir datos de telemetría, puede ayudar a mitigar los retos de observabilidad que plantea la IA.

Para los proveedores de IA, OpenTelemetry ofrece una manera de estandarizar la forma en que comparten datos de rendimiento sin exponer los detalles del modelo propietario o el código fuente. Para las empresas, garantiza que los datos de observabilidad fluyan de manera constante a través de pipelines complejos de IA que pueden incluir múltiples modelos, diversas dependencias y sistemas de generación aumentada por recuperación (RAG, por sus siglas en inglés).

Los beneficios clave de OpenTelemetry para la observabilidad de la IA incluyen:

• Independencia del proveedor: las organizaciones pueden evitar el bloqueo a plataformas de observabilidad específicas, lo que les ayuda a mantener la flexibilidad a medida que evolucionan las tecnologías de IA.
  
  
• Visibilidad de extremo a extremo: los datos de telemetría fluyen de manera constante desde todos los componentes de la infraestructura de aplicaciones de IA.
  
  
• Preparación para el futuro: a medida que las tecnologías de IA evolucionan, el estándar OpenTelemetry puede adaptar junto a ellas, ayudando a garantizar que las estrategias de observabilidad sigan siendo relevantes.
  
  
• Integración del ecosistema: los estándares abiertos permiten la observabilidad en soluciones de IA de múltiples proveedores y modelos de despliegue híbridos.
  
  
• Estandarización de metadatos : dado que OpenTelemetry es independiente del proveedor, permite a los desarrolladores capturar metadatos esenciales relacionados con la IA y mantener la visibilidad en toda la pila, independientemente de los backends o proveedores de observabilidad que utilicen.

Debido a su alto nivel de autonomía y automatización dentro de la red, los agentes de IA requieren una atención especial por parte de las plataformas de observabilidad, concretamente en lo que respecta a las acciones que realizan dentro del sistema y a los registros y rastreos que estas acciones generan.

Las mismas capacidades que hacen que los agentes de IA sean valiosos (su uso de LLM, su recuperación de conversaciones anteriores y el uso de herramientas externas) pueden dificultar su monitoreo, comprensión y control.

Las acciones comunes que un agente de IA podría tomar incluyen llamar a una interfaz de programación de aplicaciones (API) para interactuar con un motor de búsqueda, llamar a un LLM para producir texto o comprender la entrada del usuario, escalar solicitudes al personal humano o transmitir una advertencia automatizada sobre una violación de seguridad o baja disponibilidad de cómputo.

Si bien estas capacidades permiten a los agentes trabajar de forma independiente, también las hacen mucho menos transparentes que las aplicaciones tradicionales basadas en reglas y lógica explícitas y predefinidas. Al rastrear los datos asociados con estos procesos agénticos, los administradores pueden obtener insight sobre el comportamiento del agente y ayudar a prevenir violaciones de cumplimiento, fallas operativas y la posterior erosión de la confianza del usuario.

Los registros únicos para la observabilidad de agentes de IA incluyen:

• Registros de interacción del usuario, que documentan cada interacción entre los usuarios y los agentes de IA.
  
  
• Registros de interacción de LLM, que documentan las interacciones entre los agentes y los LLM.
  
  
• Registros de ejecución de herramientas, que miden qué herramientas e instrumentos utilizan los agentes, cuándo los utilizan, qué comandos envían y qué resultados obtienen.
  
  
• Registros de decisión del agente, que registran cómo un agente de IA llegó a una decisión o acción específica cuando está disponible.

Los beneficios de la observabilidad de la IA incluyen el control del costo de uso del modelo, la facilidad de cumplimiento y la mejora del modelo en sí.

Obtener un mayor insight de cómo las herramientas impulsadas por IA interactúan con el ecosistema de TI puede identificar recursos desperdiciados. Por ejemplo, si una organización descubre que un modelo está utilizando solo una pequeña parte de la potencia de procesamiento que se le ofrece, los equipos de DevOps pueden reducir el tamaño o desviar recursos a donde más se necesitan.

Las herramientas de observabilidad de la IA pueden recopilar, procesar y almacenar automáticamente datos de telemetría de agentes de IA para auditorías de cumplimiento. El apoyo a la auditoría es cada vez más importante ya que las leyes que incluyen la Ley de IA de la Unión Europea, así como varias regulaciones estatales propuestas en Estados Unidos, han impulsado una oleada de esfuerzos para estandarizar el uso comercial de la IA y proteger cualquier información de identificación personal (PII) utilizada por los modelos.

Para los desarrolladores de modelos, el volumen de telemetría recopilada por las herramientas de observabilidad puede ayudar a reducir la deriva del modelo, rastrear qué características son más valiosas y útiles (o más disfuncionales) y verificar el sesgo y la imparcialidad.

Mientras que la observabilidad de la IA es la práctica de comprender los sistemas de IA a través de sus datos de telemetría, la observabilidad del machine learning se centra más específicamente en cómo una herramienta de IA utiliza los datos a nivel de modelo.

Comprender la telemetría de machine learning es crucial porque los datos que un modelo ingiere y aprende cambian constantemente. Profundizar para comprender cómo funciona internamente un modelo puede enseñar a los administradores no solo que el modelo se ha desviado o se ha vuelto menos eficaz, sino también por qué.

Las métricas clave para la observabilidad del machine learning, y a menudo la observabilidad del LLM, miden la calidad del modelo, los datos en sí que el modelo ingiere y cómo interactúa el modelo con la infraestructura que lo rodea.

Los diferentes tipos de modelos tienen diferentes métricas de calidad que una plataforma de observabilidad podría rastrear.

Para un modelo de clasificación, que ordena los datos en clases predefinidas, las métricas de rendimiento comunes incluyen:

• Precisión: el número de predicciones correctas en comparación con el número total de predicciones realizadas
  .
  
• Precisión y recuperación: una medida de la relevancia de los elementos seleccionados
  .
  
• Puntuación F1: una combinación comúnmente utilizada de estas métricas

Un modelo de regresión, por otro lado, a menudo se evalúa mediante métricas como el error cuadrático medio, que mide la diferencia promedio entre las predicciones hechas por el modelo y los puntos de datos reales en cuestión.

La observabilidad del machine learning puede medir la deriva de datos(como grandes divergencias entre la entrada de datos y los datos de entrenamiento, o un cambio en la distribución estadística de sus predicciones), así como métricas simples de calidad de datos, como valores faltantes y tipos de valores erróneos y no válidos. Con estas métricas, las herramientas de observabilidad del machine learning pueden realizar un análisis de causa principal para comprender la deriva del modelo o prevenirla antes de que ocurra.

La observabilidad del machine learning a menudo también mide métricas más tradicionales que podrían ser relevantes para el modelo, como la latencia, el uso y el rendimiento de la memoria, o el número de predicciones que un modelo puede hacer en un tiempo determinado.