Inicio
Topics
Desviación del modelo
Publicado: 18 de enero de 2024
Colaborador: Jim Holdsworth
La desviación del modelo se refiere a la degradación del rendimiento del modelo debido a cambios en los datos o cambios en las relaciones entre las variables de entrada y de salida. La desviación del modelo puede afectar negativamente al rendimiento, dando lugar a una toma de decisiones errónea y a malas predicciones.
Para detectar y mitigar la desviación, las organizaciones pueden monitorizar y gestionar el rendimiento en su plataforma de datos e inteligencia artificial. El rendimiento del modelo puede empezar bien, pero si no se monitoriza adecuadamente a lo largo del tiempo, incluso el modelo de IA mejor entrenado y más imparcial puede "desviarse" de sus parámetros originales y producir resultados no deseados una vez implementado.
Si el entrenamiento de un modelo de IA no se ajusta a los datos entrantes, no podrá interpretarlos con precisión ni utilizarlos para realizar predicciones fiables. Si la desviación no se detecta y mitiga rápidamente, puede desviarse aún más, aumentando el perjuicio para las operaciones.
Los modelos construidos a partir de datos históricos pueden estancarse rápidamente. En muchos casos, siempre llegan nuevos datos (nuevas variaciones, nuevos patrones, nuevas tendencias) que los antiguos datos históricos no pueden captar.
Conozca los obstáculos para la adopción de la IA, en particular la falta de soluciones de gestión de riesgos y gobernanza de la IA.
El mundo cambia constantemente, por lo que, al cambiar constantemente los datos, los modelos utilizados para dar sentido al mundo deben revisarse y actualizarse constantemente. He aquí tres tipos de desviación del modelo que deben abordarse, cada uno con una causa diferente.
El primero es la desviación de conceptos, que se produce cuando hay un desplazamiento entre las variables de entrada y la variable objetivo, momento en el que el algoritmo empieza a dar respuestas incorrectas porque las definiciones ya no son válidas. El cambio en las variables independientes puede tener efecto a lo largo de diversos periodos de tiempo que son:
La desviación del concepto se repite y retrocede con regularidad, como en el caso de la estacionalidad del comportamiento de compra en respuesta a los cambios meteorológicos. En climas invernales, las ventas de palas y sopladores de nieve suelen aumentar a finales de otoño y principios de invierno. También deben hacerse ajustes geográficos para las nevadas previstas.
Un acontecimiento inesperado puede impulsar nuevas pautas de compra. Un ejemplo sería la repentina publicidad en torno a ChatGPT, que ha generado un aumento de la demanda de productos de hardware y software de IA, y un impulso del valor de las acciones de las empresas relacionadas con la IA. Un modelo de forecasting entrenado antes de que se publicaran esas noticias no podría predecir los resultados posteriores. Otro ejemplo es la llegada de la pandemia de Covid-19, que también creó un cambio repentino de comportamiento: las ventas de juegos y aparatos de ejercicio se dispararon, mientras que los restaurantes y hoteles recibían muchos menos visitantes.
AlgunasAlgunas derivas se producen gradualmente, o a un ritmo esperado. derivas ocurren gradualmente o a un ritmo esperado. Por ejemplo, los spammers y los hackers han utilizado una gran variedad de herramientas y trucos a lo largo de los años. A medida que el software de protección y los filtros de spam han ido mejorando, los malos actores han mejorado su juego en consecuencia. Cualquier IA diseñada para proporcionar protección a las interacciones digitales necesita seguir el ritmo; un modelo estático pronto será inútil.
En segundo lugar, la deriva de los datos, cuando la distribución subyacente de los datos de entrada ha cambiado. En el comercio minorista, las ventas de un producto pueden verse afectadas por la introducción de otro nuevo o la retirada de un producto competidor. O si un sitio web es adoptado primero por los jóvenes, pero luego gana aceptación entre los mayores, el modelo original basado en los patrones de uso de los usuarios más jóvenes podría no funcionar tan bien con la base de usuarios de más edad.
El tercero es un cambio de datos upstream, que se produce cuando hay un cambio en la canalización de datos. Por ejemplo, los datos upstream podrían cambiarse a una moneda diferente, como USD frente a Euros, o las mediciones en millas en lugar de kilómetros o las temperaturas en Fahrenheit en lugar de Celsius. Un cambio de este tipo desbarataría un modelo que no se hubiera construido para tener en cuenta el cambio en la forma de etiquetar los datos.
Para que las organizaciones detecten y ayuden a corregir la desviación del modelo, deben tener en cuenta lo siguiente.
La precisión de un modelo de IA puede degradarse a los pocos días de su implementación porque los datos de producción divergen de los datos de entrenamiento del modelo. Esto puede dar lugar a predicciones incorrectas y a una importante exposición al riesgo. Las organizaciones deben utilizar un programa de IA y herramientas de monitorización que detecten automáticamente cuándo la precisión de un modelo disminuye (o deriva) por debajo de un umbral preestablecido. Este programa de detección de la desviación del modelo también debería rastrear qué transacciones causaron la desviación, lo que permitiría volver a etiquetarlas y utilizarlas para volver a entrenar el modelo, restaurando su poder predictivo durante el tiempo de ejecución.
Hay dos formas de medir la desviación. La primera es estadística, que utiliza métricas estadísticas. Esto suele ser más fácil de aplicar porque la mayoría de las métricas ya se utilizan en la empresa. La segunda se basa en modelos. Mide la similitud entre un punto o grupos de puntos frente a la línea de base de referencia.
Las organizaciones deben probar sus modelos de IA periódicamente a lo largo de su ciclo de vida. Lo ideal es que estas pruebas incluyan:
Según un estudio Total Economic Impact de Forrester: "Al crear, ejecutar y gestionar modelos en un entorno unificado de datos e IA, [las organizaciones] pueden garantizar que los modelos de IA sigan siendo justos, explicables y conformes en cualquier lugar". Este enfoque integral de la IA también capacita de forma única a una organización para detectar y ayudar a corregir la desviación y el sesgo del modelo, y gestionar el riesgo del modelo cuando un modelo de IA está en producción".
Una buena práctica consiste en gestionar todos los modelos desde un panel de control central. Un enfoque integrado puede ayudar a una organización a realizar un seguimiento continuo de las métricas y alertar a los equipos de los desvíos en la precisión y la coherencia de los datos a través del desarrollo, la validación y la implementación. Una visión centralizada y holística puede ayudar a las organizaciones a acabar con los silos y ofrecer más transparencia en todo el linaje de datos.
Detecte los escenarios y la magnitud de la deriva mediante un modelo de IA que compara los datos de producción y de formación y las predicciones del modelo en tiempo real. De este modo, la desviación puede detectarse rápidamente y el reciclaje puede iniciarse de inmediato. Esta detección es iterativa, al igual que lo son las operaciones de machine learning (MLOps).
El análisis temporal es útil para ver cómo evolucionó la desviación y cuándo se produjo. Por ejemplo, si se realizan comprobaciones semanales, se verá cómo ha evolucionado la deriva cada día. Analizar las líneas temporales también puede ser útil para determinar si la deriva fue gradual o repentina.
Utilice un nuevo conjunto de datos de entrenamiento al que se hayan añadido muestras más recientes y relevantes. El objetivo es que sus grandes modelos de lenguaje (LLM) vuelvan a la producción de forma rápida y correcta. Si el reentrenamiento del modelo no resuelve el problema, puede ser necesario un nuevo modelo.
En lugar de entrenar un modelo con datos por lotes, las organizaciones pueden practicar el “aprendizaje en línea” actualizando sus modelos de machine learning (ML) en base a los datos más recientes del mundo real tan pronto como estén disponibles.
Puede parecer que un modelo se desvía porque los datos utilizados para entrenarlo son muy diferentes de los datos de producción reales que se utilizarán. En un caso de uso médico, si se utilizan escáneres de alta resolución en la formación, pero sobre el terreno sólo se dispone de escáneres de baja resolución, los resultados serán incorrectos.
Mejore los flujos de trabajo de la IA de forma responsable, transparente y explicable, tanto para la IA generativa como para los modelos de machine learning.
Realice un seguimiento del rendimiento del modelo. Reciba alertas cuando se produzcan desviaciones en la precisión del modelo y la coherencia de los datos.
Obtenga una ventaja competitiva con estrategias de gobierno de datos.
Obtenga conocimientos de CDO y líderes en ciencia de datos para crear una estrategia de datos fiable que acelere el crecimiento de los ingresos.
Desbloquee las perspectivas de los expertos sobre cómo su organización puede mejorar la calidad de los datos, el rendimiento de la IA y la confianza.