¿Qué es la observabilidad de la IA?

Las herramientas de observabilidad tradicionales entienden el estado o el estado interno de un sistema complejo utilizando los tres pilares de la observabilidad: registros, rastreos y métricas. Las aplicaciones de IA y los agentes de IA introducen una capa adicional de complejidad que requiere herramientas de observabilidad únicas, que pueden optimizar el rendimiento del modelo mediante la monitorización de resultados específicos de la IA y la producción de visualizaciones (a menudo generadas por IA).

A diferencia del software tradicional, los resultados de modelos de lenguaje de gran tamaño (LLM) y otras aplicaciones de inteligencia artificial generativa son probabilísticos. Entradas idénticas pueden generar respuestas diferentes, lo que puede dificultar el seguimiento de cómo las entradas dan forma a las salidas, causando problemas para las herramientas de observabilidad convencionales. Por lo tanto, la resolución de problemas, la depuración y la monitorización del rendimiento son más complejas en los sistemas de IA generativa.

Además, la explicabilidad en IA, un campo en crecimiento que busca reducir las cualidades de "caja negra" de muchos modelos de IA, aún no puede explicar completamente cómo interactúan los modelos con sistemas y flujos de trabajo informáticos más amplios. Las soluciones de observabilidad de IA deben priorizar cosas que puedan medir y analizar eficazmente. Esta priorización es especialmente importante cuando se utilizan modelos de terceros como OpenAI o Google, que ejecutan y gestionan los modelos de forma privada.

Los agentes de IA, sistemas que trabajan de forma autónoma para diseñar y ejecutar flujos de trabajo en todo el ecosistema de TI, plantean sus propios desafíos únicos para la observabilidad y requieren un enfoque en consecuencia único para la recopilación de datos. Casi la mitad de los ejecutivos encuestados en 2025 por el IBM Institute for Business Value citaron "la falta de visibilidad de los procesos de toma de decisiones de los agentes como una barrera importante para la implementación" de la IA agéntica. La observabilidad de estos sistemas es crucial para su adopción.

La observabilidad de IA funciona recopilando métricas de IA específicas de todo el sistema tecnológico en tiempo real y organizándolas en un panel de control. La observabilidad de IA ofrece a los administradores un mejor conocimiento del funcionamiento interno de los modelos de IA y, al mismo tiempo, reduce los cuellos de botella, las alucinaciones y la latencia, entre otros problemas comunes.

Las plataformas de observabilidad se centran en tres tipos principales de telemetría, que tienen sus propias variaciones específicas para los sistemas de IA: registros, rastreos y métricas.

Los registros son granulares, tienen marca de tiempo, son completos e inmutables, y contienen información detallada de los eventos de las aplicaciones. Entre otras cosas, los registros se pueden utilizar para crear un registro de alta fidelidad, milisegundo a milisegundo, de cada evento en un sistema de TI, completo con el contexto circundante. En el desarrollo de la IA, los desarrolladores utilizan los registros para solucionar problemas y depurar.

Los registros trazan el "recorrido" completo de cada solicitud de usuario, desde la interfaz de usuario o la aplicación móvil, a través de toda la arquitectura y el modelo de IA, y de vuelta al usuario.

Las métricas son medidas fundamentales del estado de las aplicaciones y los sistemas a lo largo del tiempo. Por ejemplo, las métricas se utilizan para medir cuánta memoria o capacidad de CPU utiliza una aplicación en cinco minutos, o cuánta latencia experimenta una aplicación durante un pico de uso.

Los agentes de IA, la IA generativa y otros sistemas de IA como modelos de lenguaje de gran tamaño también generan sus propios tipos únicos de datos de telemetría que deben recopilarse y analizarse para proporcionar a los administradores información útil.

El uso de token, la desviación del modelo y la calidad de respuesta son tres puntos de datos clave para la mayoría de las iniciativas de observabilidad de IA. La monitorización de estos factores puede ayudar a reducir los problemas de rendimiento a lo largo del ciclo de vida de un modelo y mejorar la experiencia del usuario.

Los datos de telemetría más tradicionales, como el uso de la GPU, los cuellos de botella en la infraestructura de red y el feedback de los usuarios sobre la interfaz, también pueden recopilarse mediante herramientas de observabilidad de IA cuando sean relevantes para el modelo.

Un token es una unidad individual de lenguaje, generalmente una palabra o parte de una palabra, que un modelo de IA es capaz de entender. El número de tokens que procesa un modelo para comprender una entrada o producir un output directamente impacta el coste y el rendimiento de una aplicación basada en LLM. Un mayor consumo de tokens puede aumentar los gastos operativos y la latencia de respuesta.

Las métricas clave para el seguimiento del uso de tokens incluyen:

• Tasas y costos de consumo de tokens, que pueden ayudar a cuantificar los gastos operativos.
  
  
• Eficiencia del token, una medida de la eficacia con la que se utiliza cada token en una interacción. Las interacciones eficientes producen resultados de alta calidad y, al mismo tiempo, minimizan el número de tokens consumidos.
  
  
• Patrones de uso de los tokens en los diferentes tipos de instrucciones, que pueden ayudar a identificar los usos de los modelos que consumen muchos recursos.

Estas métricas pueden ayudar a las organizaciones a identificar oportunidades de optimización para reducir el consumo de tokens, por ejemplo, al refinar las instrucciones para transmitir más información con menos tokens. Al optimizar la utilización de tokens, las organizaciones pueden mantener una alta calidad de respuesta y, al mismo tiempo, reducir potencialmente los costes de inferencia para las cargas de trabajo de machine learning.

A diferencia del software tradicional, los modelos de IA corren el riesgo de cambiar gradualmente su comportamiento de formas no deseadas a medida que los datos del mundo real evolucionan. Este fenómeno, conocido como desviación del modelo, puede afectar significativamente la fiabilidad y el rendimiento del sistema de IA.

Las métricas clave para el seguimiento de la desviación del modelo incluyen:

• Cambios en los patrones de respuesta a lo largo del tiempo para identificar incoherencias emergentes.
  
  
• Variaciones en la calidad o relevancia del resultado que podrían indicar una disminución del rendimiento del modelo.
  
  
• Cambios en la latencia o la utilización de recursos que pueden indicar ineficiencias computacionales.

Los mecanismos de detección de desviaciones pueden proporcionar alertas tempranas cuando la precisión de un modelo disminuye para casos de uso específicos, permitiendo a los equipos intervenir antes de que el modelo interrumpa las operaciones empresariales.

El seguimiento de la calidad de los outputs de la IA es esencial para mantener la confianza, la fiabilidad y el cumplimiento. Las métricas clave para realizar un seguimiento de la calidad de las respuestas incluyen:

• Frecuencia de alucinaciones en diferentes tipos de instrucciones para identificar posibles desencadenantes de resultados inexactos.
  
  
• Precisión fáctica de las respuestas generadas, aunque esta métrica a menudo requiere validación externa y supervisión humana.
  
  
• Consistencia de las resultados para entradas similares para verificar la estabilidad del modelo a lo largo del tiempo.
  
  
• Relevancia de las respuestas a las instrucciones del usuario para evaluar cómo se ajusta el modelo a su intención.
  
  
• El seguimiento de la latencia es crítico para las aplicaciones de IA orientadas al usuario, donde la velocidad y la precisión suelen requerir concesiones. La monitorización de los tiempos de respuesta en los distintos tipos de instrucciones puede ayudar a las organizaciones a localizar los cuellos de botella en el rendimiento y las ineficiencias computacionales.

OpenTelemetry (OTel), un marco de código abierto para recopilar y transmitir datos de telemetría, puede ayudar a mejorar los desafíos de observabilidad que plantea la IA.

Para los proveedores de IA, OpenTelemetry ofrece una forma de estandarizar la forma en que comparten los datos de rendimiento sin exponer los detalles del modelo propietario o el código fuente. Para las empresas, garantiza que los datos de observabilidad fluyan de manera coherente a través de complejos pipelines de IA que pueden incluir múltiples modelos, varias dependencias y sistemas de generación aumentada por recuperación (RAG).

Los beneficios clave de OpenTelemetry para la observabilidad de la IA incluyen:

• Independencia del proveedor: las organizaciones pueden evitar depender de plataformas de observabilidad específicas, lo que les ayuda a mantener la flexibilidad a medida que evolucionan las tecnologías de IA.
  
  
• Visibilidad de principio a fin: Los datos de telemetría fluyen de forma coherente desde todos los componentes de la infraestructura de aplicaciones de IA.
  
  
• Preparación para el futuro: a medida que las tecnologías de IA evolucionan, la norma OpenTelemetry puede adaptarse junto a ellas, ayudando a garantizar que las estrategias de observabilidad sigan siendo relevantes.
  
  
• Integración del ecosistema: Los estándares abiertos facilitan la observabilidad en soluciones de IA de múltiples proveedores y modelos de implementación híbridos.
  
  
• Estandarización de los metadatos : dado que OpenTelemetry es independiente de los proveedores, permite a los desarrolladores capturar los metadatos esenciales relacionados con la IA y mantener la visibilidad en toda la pila independientemente de los backends o proveedores de observabilidad que utilicen.

Debido a su alto nivel de autonomía y automatización dentro de la red, los agentes de IA requieren atención especial por parte de las plataformas de observabilidad, específicamente con respecto a las acciones que realizan dentro del sistema y los registros y rastros correspondientes a esas acciones.

Las mismas capacidades que hacen valiosos a los agentes de IA, su uso de LLM, su recuerdo de conversaciones previas y el uso de herramientas externas, pueden dificultar su monitorización, comprensión y control.

Las acciones comunes que podría realizar un agente de IA incluyen llamar a una interfaz de programación de aplicaciones (API) para interactuar con un motor de búsqueda, llamar a un LLM para producir texto o comprender la entrada del usuario, escalar solicitudes al personal humano o transmitir una advertencia automatizada sobre una violación de seguridad o baja disponibilidad de computación.

Aunque estas capacidades permiten a los agentes trabajar de forma independiente, también los hacen mucho menos transparentes que las aplicaciones tradicionales basadas en reglas y lógica explícitas y predefinidas. Mediante el seguimiento de los datos asociados a estos procesos agénticos, los administradores pueden obtener conocimiento sobre el comportamiento del agente y ayudar a prevenir infracciones de cumplimiento, fallos operativos y la consiguiente erosión de la confianza de los usuarios.

Los registros únicos de observabilidad de los agentes de IA incluyen:

• Registros de interacción de los usuarios, que documentan cada interacción entre los usuarios y los agentes de IA.
  
  
• Registros de interacción LLM, que documentan las interacciones entre los agentes y los LLM.
  
  
• Registros de ejecución de herramientas, que miden qué herramientas e instrumentos utilizan los agentes, cuándo los utilizan, qué comandos envían y qué resultados obtienen de vuelta.
  
  
• Registros de decisión de un agente, que registran cómo un agente de IA llegó a una decisión o acción específica cuando está disponible.

Los beneficios de la observabilidad de la IA incluyen el control del coste de uso del modelo, la facilidad de cumplimiento y la mejora del propio modelo.

Obtener más conocimiento sobre cómo las herramientas con IA interactúan con el ecosistema puede identificar el desperdicio de recursos. Por ejemplo, si una organización descubre que un modelo utiliza solo una pequeña parte del poder de procesamiento que tiene a su disposición, los equipos de DevOps pueden reducir o desviar recursos hacia donde más se necesitan.

Las herramientas de observabilidad de la IA pueden recopilar, procesar y almacenar automáticamente los datos de telemetría de los agentes de IA para las auditorías de cumplimiento. El apoyo a las auditorías es cada vez más importante, ya que leyes como la Ley de IA de la Unión Europea, así como varias normativas estatales propuestas en Estados Unidos, han impulsado una ola de esfuerzos para estandarizar el uso empresarial de la IA y proteger cualquier información de identificación personal (PII) utilizada por modelos.

Para los desarrolladores de modelos, el volumen de telemetría recopilado por las herramientas de observabilidad puede ayudar a reducir la desviación del modelo, rastrear qué características son más valiosas y útiles (o más disfuncionales) y comprobar el sesgo y la imparcialidad.

Mientras que la observabilidad de IA es la práctica de comprender los sistemas de IA a través de sus datos de telemetría, la observabilidad del machine learning se centra más específicamente en cómo una herramienta de IA utiliza los datos a nivel de modelo.

Comprender la telemetría del machine learning es crucial porque los datos que un modelo consume y de los que aprende cambian constantemente. Profundizar para comprender cómo funciona internamente un modelo puede enseñar a los administradores no solo que el modelo se ha desviado o se ha vuelto menos eficaz, sino también por qué.

Las métricas clave para la observabilidad del machine learning, y a menudo la observabilidad de los LLM, miden la calidad del modelo, los datos que el modelo consumir y cómo interactúa con la infraestructura circundante.

Los diferentes tipos de modelos tienen distintas métricas de calidad que una plataforma de observabilidad podría rastrear.

Para un modelo de clasificación, que ordena los datos en clases predefinidas, las métricas de rendimiento comunes incluyen:

• Precisión: el número de predicciones correctas en comparación con el número total de predicciones realizadas.
  
  
• Precisión y recuerdo: una medida de la relevancia de los elementos seleccionados
  
  
• Puntuación F1: una combinación de uso común de estas métricas

Un modelo de regresión, por otro lado, a menudo se evalúa mediante métricas como la raíz del error cuadrático medio, que mide la diferencia promedio entre las predicciones hechas por el modelo y los puntos de datos reales en cuestión.

La observabilidad del machine learning puede medir la deriva de los datos, como grandes divergencias entre los datos de entrada y los datos de entrenamiento, o un cambio en la distribución estadística de sus predicciones, así como métricas simples de calidad de los datos, como valores faltantes y tipos de valores erróneos e inválidos. Con estas métricas, las herramientas de observabilidad del machine learning pueden realizar un análisis de causa raíz para comprender la deriva del modelo o prevenirla antes de que se produzca.

La observabilidad del machine learning a menudo también mide métricas más tradicionales que podrían ser relevantes para el modelo, como la latencia, el uso de la memoria y el rendimiento, o el número de predicciones que un modelo puede hacer en un período de tiempo determinado.