¿Qué es la validación de modelos?

En lugar de simplemente preguntar: "¿El modelo produce una respuesta?", la validación del modelo pregunta si el diseño, las suposiciones, los datos, la implementación, los resultados, las limitaciones y el comportamiento continuo del modelo son lo suficientemente fiables como para las decisiones que las personas tomarán con él.

La validación de modelos permite a las empresas reducir el riesgo de modelo (es decir, el riesgo de que un modelo genere resultados inexactos, sesgados, inestables, inseguros o que puedan dar lugar a un uso indebido) mediante una evaluación proactiva del rendimiento del modelo en el cumplimiento de sus funciones.

Para realizar una validación sencilla, los desarrolladores de modelos pueden limitarse a evaluar el modelo candidato con un conjunto de validación (el conjunto de ejemplos que utilizan los ingenieros de ML y los científicos de datos para comprobar la eficacia del aprendizaje de un modelo) durante la fase de desarrollo.

Sin embargo, a nivel de gestión de riesgos del modelo, la validación del modelo es mucho más amplia. Normalmente, la validación del modelo empresarial es una evaluación independiente de todo el ciclo de vida del modelo. El modelo de ML es revisado por personas que no son los creadores del modelo, y la revisión cubre cómo se construyó, lanzó, utilizó, monitorizó, modificó y finalmente retiró el modelo.

Un proceso de validación exitoso establece cinco cosas.

1. El modelo de ML tiene un propósito claro y una población, alcance y contexto de decisión definidos.
2. El enfoque conceptual (el método subyacente de mapeo de entrada-salida, lógica y supuestos) del modelo tiene sentido para ese propósito.
3. Los datos que utiliza el modelo y la implementación del modelo son precisos y controlados.
4. El modelo funciona adecuadamente con datos relevantes, incluidos los datos que no vio durante el desarrollo.
5. La organización comprende las limitaciones del modelo y toma medidas si el rendimiento se deteriora.

El rigor del proceso de validación del modelo suele coincidir con el propósito del modelo. Una herramienta de previsión interna de bajo impacto no necesita ser analizada tan a fondo como un modelo que aprueba hipotecas o detecta transacciones bancarias fraudulentas.

Es importante destacar que la validación del modelo no es un acto de aprobación único. Incluso si inicialmente funcionan bien, los modelos pueden desviarse y degradarse después del lanzamiento, por lo que la validación continua de modelos de ML a menudo se integra en las prácticas de gobierno de la IA de una empresa.

Según el Marco de Gestión de Riesgos de la IA del NIST, los pilares de la confianza en los modelos incluyen la validez y la fiabilidad, la seguridad y la resiliencia, la rendición de cuentas y la transparencia, la explicabilidad y la interpretabilidad, la mejora de la privacidad y la gestión de la equidad y los sesgos.

La validación de modelos de machine learning ayuda a establecer y mantener la confianza en el modelo (el nivel de confianza justificado de que un modelo se comportará adecuadamente). Las empresas toman decisiones basadas en los resultados de los modelos de ML, por lo que la confianza en los modelos no es solo un objetivo reputacional. Es fundamental para un uso seguro, eficaz y escalable de la IA. De hecho, los objetivos de confianza del modelo a menudo informan las prácticas de validación del modelo.

Además, un modelo no puede considerarse fiable simplemente porque su desarrollador lo llame "IA responsable". Los modelos deben ser capaces de realizar sus tareas de forma fiable, proteger a las personas y los datos, resistir el uso indebido y ser comprendidos y gobernados. Ese nivel de confianza debe ganarse mediante controles demostrables y una recopilación persistente de pruebas durante la validación del modelo de IA.

Una forma ampliamente adoptada de entender los pilares de la confianza modelo es el Marco de Gestión de Riesgos de la IA del Instituto Nacional de Estándares y Tecnología (NIST). Identifica siete características interdependientes de una IA fiable.

Un modelo fiable debe ser válido para su tarea y fiable a lo largo del tiempo, en las condiciones esperadas. La validez pregunta si el modelo realmente mide, predice, clasifica o genera lo que dice.

La fiabilidad se pregunta si el modelo funciona de forma coherente y fiable cuando se le dan entradas comparables, incluidas las de diferentes usuarios, entornos, fuentes de datos y periodos de tiempo.

El pilar de seguridad se centra en si el modelo puede causar daño a las personas, la propiedad, las organizaciones o la sociedad, incluso cuando técnicamente funciona según lo diseñado.

Un modelo puede ser a la vez preciso e inseguro. Por ejemplo, un chatbot de atención al cliente puede recuperar correctamente la información de la cuenta, pero si puede ser manipulado para exponer datos confidenciales, sigue siendo inseguro para la implementación. La seguridad requiere que los equipos identifiquen los daños previsibles antes de la implementación y los aborden de forma proactiva mediante el diseño del sistema.

La seguridad protege el modelo, sus datos, sus interfaces y la aplicación circundante del acceso o la manipulación maliciosos. En los sistemas de IA modernos, la superficie de ataque se extiende mucho más allá de los pesos del modelo. También incluye datos de entrenamiento, fuentes de recuperación, instrucciones, interfaces de programación de aplicaciones (API), complementos, identidades de usuario, infraestructura de implementación, registros y cadenas de suministro de modelos. Los controles de seguridad deben ser capaces de gestionar toda la superficie de ataque.

La resiliencia se refiere a la capacidad del modelo para seguir funcionando de forma segura, recuperarse adecuadamente o fallar de forma controlada si surge algún problema. Esto significa validar que los modelos puedan gestionar tanto las interrupciones no maliciosas como los ciberataques. En un entorno de alto impacto, fallar de forma segura suele ser más importante que simplemente permanecer disponible.

La responsabilidad significa que los propietarios nombrados son responsables del diseño, la implementación, los resultados y la corrección del modelo. Sin rendición de cuentas, una empresa puede decir "lo decidió la IA" cuando algo sale mal.

La transparencia significa que toda la información relevante sobre el sistema, sus resultados, limitaciones y gobierno está disponible para las personas que la necesitan. La transparencia no requiere que las empresas revelen el código fuente propietario o detalles de seguridad confidenciales. Significa divulgar suficiente información precisa y utilizable para que las partes interesadas comprendan toda la amplitud del sistema.

La explicabilidad y la interpretabilidad ayudan a las personas a comprender cómo funciona un modelo y qué significan sus resultados en el contexto de una decisión real. En términos sencillos, la explicabilidad plantea la siguiente pregunta: "¿Qué factores o procesos han dado lugar a este resultado?". y la interpretabilidad pregunta: "¿Qué significa este resultado y cómo debe usarlo una persona?"

Este pilar es más importante cuando las decisiones son consecuentes, impugnadas, reguladas o difíciles de revertir (modelización del riesgo crediticio, por ejemplo).

La privacidad está estrechamente ligada a la seguridad, pero los conceptos son distintos. La seguridad impide que terceros no autorizados accedan a los datos, mientras que la privacidad ayuda a garantizar que los datos se recopilen, utilicen, almacenen y compartan adecuadamente.

Los modelos pueden crear un riesgo para la privacidad incluso cuando no están diseñados explícitamente para procesar datos personales. Los conjuntos de entrenamiento de modelos pueden contener información sensible, y los registros pueden conservar datos de usuario que solo debían almacenarse temporalmente. Las prácticas de validación de modelos ayudan a las empresas a garantizar que las herramientas de IA sean seguras y cumplan las normas de privacidad.

La equidad requiere que una organización identifique, mida, reduzca y monitorice los sesgos dañinos. Esto no significa que todas las personas deban recibir siempre el mismo resultado. Más bien, las diferencias en el trato o los resultados deben estar justificadas, ser legales, relevantes para la tarea y no estar impulsadas por sesgos evitables o perjudiciales.

La validación de modelos suele incluir una serie de comprobaciones y técnicas de validación diferentes.

La solidez conceptual evalúa la lógica y el diseño subyacentes del modelo. Evalúa si la metodología, las entradas, los supuestos, los juicios cualitativos y las opciones de diseño son apropiados para las decisiones que el modelo debe respaldar. Las comprobaciones de solidez incluyen:

• Evaluar la metodología del modelo para entender cómo el modelo convierte los datos en resultados.

• Examinar las características y las entradas para confirmar que cada característica importante es relevante, está disponible y es legal.

• Supuestos desafiantes para la documentación y el seguimiento.

• Identificar limitaciones y factores ausentes para descubrir lo que el modelo no sabe y entender los contextos en los que se vuelve menos fiable.

• Evaluar la interpretabilidad y la idoneidad del uso para determinar por qué un modelo produce sus resultados y dónde podría fallar.

La validación de datos ayuda a los equipos a determinar si los datos utilizados para crear, ajustar, probar y ejecutar un modelo son fiables. La validación de datos incluye:

• Evaluación de la calidad de los datos. Las comprobaciones de calidad de los datos tienen como objetivo garantizar que los registros de datos sean precisos, completos, relevantes, representativos, correctamente etiquetados, obtenidos legalmente, protegidos y separados.

• Establecer la procedencia y el linaje. Las revisiones de validación deberían poder rastrear cada conjunto de datos y características hasta una fuente identificable.

• Confirmar la relevancia para la tarea. Confirmar la relevancia significa comprobar si cada elemento de datos del modelo refleja información que está significativamente relacionada con el propósito del modelo.

• Verificar etiquetas y la verdad de los fundamentos. La validación de etiquetas garantiza que las etiquetas produzcan resultados que sean representaciones precisas, apropiadas y definidas de forma consistente del resultado objetivo. También identifica el estándar de referencia, la mejor base disponible para decidir qué es verdadero.

El análisis de resultados tiene dos propósitos clave. En primer lugar, determina si los resultados del modelo corresponden a las condiciones del mundo real que afirma predecir. En segundo lugar, se pregunta si el uso de los resultados ayuda realmente a una empresa a alcanzar su objetivo previsto sin crear daños, costes o riesgos inaceptables. El análisis de resultados puede requerir que los equipos:

• Comparen las predicciones con los resultados. El análisis de resultados espera, recopila o establece la "verdad fundamental" del modelo y la compara con los resultados del modelo.

• Utilicen pruebas retrospectivas. Las pruebas retrospectivas aplican un modelo a casos anteriores utilizando únicamente la información que habría estado disponible en ese momento histórico y, a continuación, comparan las predicciones del modelo con lo que realmente ocurrió.

• Examinen los errores de recordación y predicción. Los modelos problemáticos pueden producir falsos positivos y falsos negativos. Los análisis de resultados miden ambos tipos de errores, evalúan sus consecuencias y deciden si superan el umbral de riesgo de la organización.

• Comprueben la calibración. La calibración consiste en comprobar si las probabilidades establecidas por un modelo coinciden con las frecuencias observadas. Si un modelo asigna una probabilidad de fraude del 70 % a 1000 transacciones, aproximadamente 700 de esas transacciones deberían confirmarse finalmente como fraude. Si solo se confirman 250 o 850, el modelo está estimando incorrectamente el riesgo.

• Evalúen el impacto empresarial y operativo. El análisis de resultados examina si el modelo avanza en el objetivo real para el que se implementó.

Validar la solidez y sensibilidad de un modelo ayuda a garantizar que siga comportándose de forma fiable cuando las condiciones son imperfectas, anormales o deliberadamente hostiles.

La sensibilidad no es inherentemente mala. Algunas entradas deberían afectar en gran medida a la salida de un modelo. Un cambio reciente en una cuenta privilegiada, por ejemplo, cambia razonablemente la puntuación de riesgo de ciberseguridad de la cuenta. El problema es la sensibilidad injustificada, en la que los cambios pequeños, irrelevantes o rutinarios tienen un efecto desmesurado en el comportamiento del modelo.

Los equipos pueden desafiar el modelo con:

• Entradas ruidosas e incompletas. Las comprobaciones de solidez simulan condiciones como la falta de datos y las entradas erróneas para ver cómo los datos desordenados afectan al rendimiento del modelo y a sus respuestas. Esto ayuda a prevenir el subajuste (donde un modelo no aprende lo suficiente de los datos de entrenamiento y, como resultado, no puede reconocer patrones) y el sobreajuste (donde un modelo memoriza demasiados datos de entrenamiento, incluido el ruido).

• Cambios en las condiciones. Los modelos de machine learning deben ser capaces de gestionar los cambios de distribución (nuevas políticas, interrupciones del servicio, desviación de conceptos), en los que los datos de producción ya no se parecen a los datos de desarrollo. Los revisores pueden utilizar periodos de tiempo posteriores, nuevos entornos y casos deliberadamente construidos fuera de distribución para ver si el rendimiento del modelo se deteriora más allá de los niveles aceptables.

• Casos extremos e incertidumbre. Los casos extremos a menudo revelan suposiciones ocultas en un modelo. Comprobar cómo responde el modelo a esos escenarios permite a los equipos comprobar si el modelo reconoce la incertidumbre y utiliza una alternativa adecuada.

• Entradas adversarias. La validación de entradas adversarias evalúa si alguien puede manipular intencionadamente el modelo para generar una salida incorrecta, insegura, no autorizada o engañosa.

• Deriva del modelo. Los equipos pueden utilizar la simulación de deriva para crear deliberadamente escenarios en los que los datos de producción, el comportamiento de los usuarios o la relación entre las entradas y los resultados hayan cambiado y, a continuación, comprobar si el modelo se degrada correctamente y los controles responden correctamente.

Las evaluaciones comparativas y las pruebas de desafío permiten determinar si un modelo aporta realmente valor añadido, comparándolo con alternativas fiables. Las organizaciones recurren a estas prácticas para comprender si un modelo ofrece un rendimiento significativamente mejor que un método más sencillo, un modelo anterior, un proceso manual o un modelo de desafío desarrollado de forma independiente (un modelo creado o seleccionado específicamente para validar el comportamiento del modelo candidato).

• Los puntos de referencia (como modelos de producción anteriores o modelos de la competencia) son puntos de referencia que se utilizan para evaluar los modelos de ML. El modelo principal no tiene por qué superar a todas las alternativas en todos los métricas de rendimiento. Los equipos solo necesitan comprender las compensaciones, para poder justificar los modelos que elijan.

• Pruebas de desafío Se refiere a la práctica más amplia de intentar refutar la idoneidad de un modelo para el uso previsto. Además de probar situaciones en las que se espera que el modelo funcione bien, las pruebas de desafío comprueban los escenarios de fallo más probables.

Las comprobaciones de seguridad y privacidad evalúan los diversos riesgos que puede crear un modelo, pero muchas debilidades residen en las Integraciones en torno a un modelo de ML en lugar del propio modelo.

Un modelo puede tener una política interna sólida contra la revelación de información confidencial, por ejemplo, pero una aplicación aún podría exponer documentos privados si su sistema de recuperación no hace cumplir los permisos de los documentos. Del mismo modo, un modelo puede ser resistente a un jailbreak básico, pero un agente creado a su alrededor puede realizar una acción insegura porque una página web recuperada contenía una inyección indirecta de instrucciones.

Por lo tanto, una validación eficaz requiere que los equipos evalúen el modelo y todo el ecosistema que lo rodea.

La documentación y la reproducibilidad hacen de la validación un conjunto de pruebas auditable, en lugar de una afirmación informal de que un modelo "funciona".

La documentación sigue todo el ciclo de vida de un modelo de ML, desde el caso de negocio inicial hasta el desarrollo, la validación, la implementación, la monitorización, los cambios materiales y, finalmente, la retirada. Incluye capturar el linaje de un modelo y mantener un control de versiones claro, lo que permite a los revisores comprender cómo cambia el modelo con el tiempo.

La reproducibilidad ayuda a garantizar que un revisor independiente cualificado pueda utilizar los materiales documentados para repetir el proceso de desarrollo o validación del modelo y obtener, más o menos, los mismos resultados.

La validación de modelos, las pruebas de modelos y la monitorización de modelos son prácticas de garantía de calidad relacionadas, pero responden a diferentes preguntas en diferentes puntos del ciclo de vida de un modelo de machine learning:

• La validación pregunta: "¿El modelo es adecuado, fiable y está diseñado adecuadamente para el uso previsto?"

• Las pruebas preguntan: "¿El modelo finalizado cumple con sus criterios de aceptación técnicos, comerciales, de seguridad y operativos predefinidos?"

• La monitorización pregunta: "¿El modelo implementado sigue funcionando con datos del mundo real en condiciones reales?"

Las pruebas de modelos se realizan durante todo el proceso de desarrollo, pero la evaluación formal del conjunto de pruebas normalmente se produce después de que los equipos hayan finalizado las principales decisiones de diseño y ajuste. Las pruebas suelen ser realizadas por alguien ajeno a las decisiones de desarrollo del modelo. En el caso de las técnicas train_test_split, también utiliza un conjunto de datos de prueba independiente que no se utilizó para el entrenamiento, el ajuste de hiperparámetros, la selección de umbrales o la selección de modelos para obtener una estimación creíble e imparcial de cómo funcionará el modelo finalizado con datos realmente invisibles.

Las empresas pueden elegir una variedad de enfoques de evaluación de modelos.

Los conjuntos de retención, por ejemplo, mantienen una parte de los datos separada del entrenamiento y desarrollo del modelo, y luego utilizan los datos retenidos para evaluar cómo funciona el modelo final en casos no vistos. Los equipos pueden utilizar la validación cruzada por K, en la que el modelo entrena y prueba diferentes partes de los datos k veces y, a continuación, promedia los resultados. O, para una forma más rigurosa de validación cruzada de k veces, un equipo podría realizar una validación cruzada de exclusión (LOOCV), en la que el modelo se prueba en cada punto de datos simultáneamente. Independientemente del método, las pruebas de modelos tienen como objetivo predecir la calidad real de un modelo de ML antes de implementarlo.

Mientras que las pruebas se centran en evaluar la calidad, la monitorización del modelo se centra en asegurar que un modelo entrenado y el ecosistema que lo rodea se comporten como se espera tras la implementación. La monitorización (que puede implementarse de forma continua o en un calendario predeterminado) observa las entradas, salidas y comportamiento operativo de un modelo en vivo para que los equipos de gestión de riesgos puedan detectar cambios antes de que se conviertan en regresiones completas o, peor aún, en fallos.

La monitorización proporciona a las empresas un sistema de alerta temprana para comportamientos problemáticos en el modelo, pero no sustituye la validación. La validación de modelos es un proceso de evaluación iterativo que suele producirse mientras los equipos de desarrollo crean un modelo, pero los equipos también pueden validar los modelos como un proceso independiente antes de la aprobación y periódicamente después.

Si bien la validación, las pruebas y la monitorización son procesos independientes, las empresas suelen necesitar los tres para optimizar el rendimiento y la fiabilidad de los modelos de ML a lo largo de todo su ciclo de vida.

La IA generativa y los agentes de IA requieren las mismas prácticas de validación básicas que otros sistemas de ML. Sin embargo, estas herramientas pueden crear riesgos que la validación predictiva de modelos no puede tener en cuenta por completo. Los sistemas de IA generativa producen outputs abiertas, y los agentes pueden utilizar esas outputs para planificar y realizar acciones en sistemas interconectados.

Con el ML estándar, el resultado de un modelo a menudo puede evaluarse directamente frente a una etiqueta de verdad en el terreno. Si un modelo de fraude predice "fraude" para una transacción y una investigación posterior confirma el fraude, la predicción fue correcta. Si un modelo de previsión de la demanda predice 1150 unidades y la demanda real es de 1600, los equipos pueden utilizar el error cuadrático medio (una métrica de regresión que evalúa en qué medida las predicciones del modelo se acercan a los valores reales) para medir la discrepancia con precisión.

Los resultados de la IA generativa generalmente no tienen una sola redacción correcta y es posible que no tengan una única "respuesta correcta" completa. Algunas tareas restringidas (extracción estructurada, selección de herramientas) aún se pueden evaluar en función de los resultados esperados explícitos. Pero, en general, el comportamiento de un modelo depende en gran medida del contexto de tiempo de ejecución, que puede cambiar de una interacción a otra. La IA generativa también puede alucinar, presentando con confianza información falsa o errónea en respuesta a una instrucción.

Por lo tanto, la validación de IA generativa requiere que los equipos utilicen un conjunto de evaluación que contenga instrucciones realistas, material fuente aprobado, elementos de respuesta esperada y rúbricas de puntuación. Las rúbricas permiten al modelo generar varias respuestas aceptables y, al mismo tiempo, exigen que cada respuesta contenga ciertos datos, evite declaraciones sin fundamento y revele incertidumbre cuando existe.

Los agentes de IA pueden formar planes, conceder acceso, modificar registros, enviar mensajes y lanzar flujos de trabajo completamente nuevos (con nuevos agentes). Como tales, los agentes de IA requieren las mismas comprobaciones centradas en los resultados que la IA generativa, pero también requieren que los desarrolladores validen las decisiones y acciones que se derivan de los resultados. Cualquier cambio material (un cambio en el modelo fundacional del agente o una nueva conexión al repositorio de recuperación, por ejemplo) debería desencadenar la revalidación.