KD aprovecha el hecho de que las redes neuronales artificiales son "aproximadores universales": dados suficientes datos de capacitación y una capa lo suficientemente grande oculta, una red neural puede aproximar cualquier función a la precisión arbitraria.⁵

En el aprendizaje automático convencional, el "conocimiento" de un modelo capacitado se identifica con sus parámetros aprendidos: los pesos (y sesgos) variables, aplicados a las distintas operaciones matemáticas que se producen en la red neuronal, que amplifican o disminuyen la influencia que una determinada parte de la salida de la red tiene sobre otra. Esta visión del conocimiento hace difícil ver cómo un modelo puede absorber los conocimientos de otro modelo de tamaño y estructura diferentes.

En cambio, Hinton et al aplicaron una visión más abstracta y flexible del conocimiento como simplemente "un mapeo aprendido de vectores de entrada a vectores de salida". En otras palabras, KD interpreta el conocimiento de un modelo no como los parámetros estrictamente matemáticos que aprende en el entrenamiento, sino como generaliza a nuevos datos luego de ese entrenamiento.

A través de esta comprensión alternativa del conocimiento, los métodos de destilación del conocimiento tienen como objetivo capacitar a los modelos de los estudiantes para que imiten no solo el resultado final del modelo del maestro para una entrada dada, sino también los pasos de razonamiento que toma el modelo del maestro para llegar a ese resultado final. Conceptualmente, esto funciona de manera similar a ajuste de la instrucción a través de instrucciones de cadena de pensamiento (CoT), que mejora la calidad de las respuestas de los LLM mostrándoles a articular su lógica "paso a paso".

En el aprendizaje convencional monitorear o autosupervisado , una función de pérdida produce un vector que representa la divergencia (o pérdida) entre las salidas del modelo y las salidas "correctas" (o verdad fundamental) en diferentes entradas. Al ajustar los parámetros del modelo para minimizar la pendiente (o gradiente) de este vector a través de un algoritmo de optimización como el descenso de gradiente, los resultados del modelo se acercan más a los resultados correctos. Si bien los pasos de razonamiento del modelo son “importantes” porque influyen en su resultado final, normalmente no se miden mediante una función de pérdida convencional.

La destilación del conocimiento, por el contrario, también capacita al modelo del estudiante para imitar el proceso de razonamiento del modelo del profesor mediante la adición de un tipo especializado de función de pérdida, la pérdida de destilación, que emplea pasos de razonamiento discretos como objetivos blandos para la optimización.

El resultado de cualquier modelo de IA puede entender como predicciones: un LLM autorregresivo predice las siguientes palabras en una secuencia específica; un modelo de visión artificial empleado para la clasificación de imágenes predice la categoría de una determinada imagen. Para llegar a estas predicciones finales, denominadas "objetivos duros" en este contexto, los modelos de aprendizaje profundo suelen hacer múltiples predicciones preliminares y emplean un función softmax para generar la predicción con la mayor probabilidad. Durante el entrenamiento, se emplea una función de pérdida de entropía cruzada para maximizar la probabilidad asignada a la salida correcta y minimizar la probabilidad asignada a las salidas incorrectas.

Por ejemplo, un modelo de clasificación de imágenes predice la probabilidad de que una imagen de entrada pertenezca a cada clase conocida que el modelo está capacitado para reconocer y, a continuación, emite la clase con el valor de probabilidad más alto. En el lenguaje matemático del aprendizaje automático, estas predicciones individuales por clases se denominan logits. Del mismo modo, un LLM autorregresivo predice múltiples posibilidades para cada palabra siguiente y (dependiendo de su temperatura setting) muestra una de esas posibilidades para su salida.

En la destilación del conocimiento, estas predicciones intermedias (los “objetivos blandos”) generadas por el modelo docente a menudo proporcionan los principales datos de entrenamiento para el modelo estudiantil. Las probabilidades relativas asignadas a estas predicciones preliminares proporcionan información valiosa sobre cómo tiende a generalizar el modelo del profesor. Por ejemplo, es muchas veces más probable que un modelo de clasificación de imágenes clasifique erróneamente una imagen de un zorro como "perro" que como "sándwich". Por lo tanto, los objetivos blandos proporcionan mucha más información por caso de capacitación que los objetivos duros por sí solos.

Los objetivos blandos también proporcionan más consistencia que los objetivos duros: la predicción final de un modelo podría depender en última instancia de una diferencia minúscula entre dos valores logit, pero los valores logit en sí tienen mucha menos variación en el gradiente entre cada ejemplo de entrenamiento.

Debido a la riqueza y estabilidad de la información proporcionada por los objetivos flexibles, el modelo de estudiante puede capacitar con menos ejemplos de entrenamiento, empleando una tasa de aprendizaje más alta, que la que se empleó para capacitar el modelo de profesor original.

Para acercar las tendencias de generalización de la red de estudiantes a las de la red de profesores, la destilación del conocimiento suele emplear dos funciones de pérdida. La primera es una función de pérdida estándar que opera con “pérdida dura”, midiendo los resultados finales del modelo del estudiante contra las etiquetas de verdad del terreno (en el aprendizaje monitorear) o contra la muestra de datos original (en el aprendizaje autosupervisado). La segunda es la pérdida por destilación, una “pérdida suave” que mide los objetivos suaves del modelo de estudiante frente a los del maestro.

Debido a que puede haber múltiples objetivos blandos para cada ejemplo de capacitación, la pérdida por destilación mide la diferencia entre la distribución de probabilidad de los objetivos blandos de la red docente y la distribución de probabilidad de los estudiantes. La divergencia de Kullback-Leibler (o “divergencia KL”) se emplea comúnmente para este propósito.

Estas diferentes formas de conocimiento generalmente se dividen en una de tres categorías: conocimiento basado en respuestas, conocimiento basado en características o conocimiento basado en relaciones.

El conocimiento basado en respuestas, el género más común de destilación de conocimiento, se centra en la transferencia de información desde la capa de salida final del modelo docente. En un método típico de KD basado en respuestas, el modelo de estudiante se capacita para generar logits que coincidan con las predicciones del modelo de profesor.

Cuando los objetivos blandos del modelo del profesor tienen una entropía baja -en otras palabras, cuando las predicciones son extremadamente "seguras", como si un modelo de clasificación produjera un logit muy cercano a 1 (que representa la seguridad) para una clase y logits cercanos a 0 para todas las demás-, no proporcionan tanta información. Por lo tanto, los métodos basados en la respuesta a menudo utilizan una configuración de alta temperatura para las salidas del modelo, lo que aumenta la entropía de las predicciones del modelo. Esto asegura una distribución de probabilidad más variable y por lo tanto una mayor cantidad de información de cada ejemplo de entrenamiento.

El conocimiento basado en características se centra en la información que se transmite en las capas intermedias, o "capas ocultas", de una red neuronal. Aquí es donde las redes neuronales tienden a realizar la extracción de características, la identificación de características y patrones distintos de los datos de entrada que son relevantes para la tarea en cuestión.

Por ejemplo, en las redes neuronales convolucionales empleadas predominantemente para tareas de visión artificial como la segmentación de imágenes, cada capa oculta sucesiva captura detalles progresivamente más ricos a medida que los datos se transmiten a través de la red. En un modelo empleado para clasificar imágenes de animales por especies, las primeras capas ocultas podrían simplemente discernir la presencia de una forma de animal en una parte de la foto; las capas intermedias ocultas podrían discernir que el animal es un pájaro; Las capas ocultas finales, justo antes de la capa de salida, discernirían los detalles matizados que diferencian una especie de ave de otra especie estrechamente relacionada.

El objetivo de los métodos de destilación de conocimiento basados en características es, por lo tanto, capacitar al modelo de estudiante para que aprenda las mismas características que la red de profesores. Las funciones de pérdida de destilación basadas en características se emplean para medir y luego minimizar la diferencia entre las activaciones de características de las dos redes.

Mientras que tanto el conocimiento basado en respuestas como el basado en características se centran en los resultados de capas de modelos específicas, la destilación de conocimiento basada en relaciones se centra en las relaciones entre diferentes capas o entre mapas de entidades que representan las activaciones en diferentes capas o ubicaciones.

En esencia, el conocimiento basado en relaciones representa quizás el enfoque integral para capacitar a la red de estudiantes para emular el “proceso de pensamiento” del modelo docente. Estas relaciones y correlaciones se pueden modelar de varias maneras, incluidas correlaciones entre mapas de características, matrices que representan la similitud entre diferentes capas, incorporaciones de características o distribuciones probabilísticas de representaciones de características.

En la destilación fuera de línea, la red de profesores ya está previamente capacitada y las ponderaciones de su modelo se congelan para evitar más cambios. La destilación sin conexión es típica de muchos enfoques de KD para LLM, en los que el profesor suele ser un modelo propietario más grande para el que no se pueden cambiar las ponderaciones del modelo.

En algunas circunstancias, es posible que no esté disponible un modelo de maestro debidamente capacitado y con un rendimiento adecuado, o un científico de datos podría querer adaptar la red de maestros a su caso de uso específico. Los esquemas de destilación en línea tienen como objetivo capacitar simultáneamente tanto a las redes de maestros como de estudiantes.

Por ejemplo, Cioppa et al propusieron un esquema de destilación en línea para los modelos de segmentación semántica empleados en eventos deportivos en tiempo real, donde las circunstancias visuales pueden cambiar a lo largo de un partido. Su objetivo era eludir el equilibrio entre la velocidad de una red más pequeña y la precisión de una red más grande capacitando continuamente un modelo lento y de buen rendimiento con datos de partidos en tiempo real y, al mismo tiempo, destilando el conocimiento de ese modelo más grande en un modelo más pequeño y más rápido desplegado para generar resultados en tiempo real. .⁶

En la autodestilación, una red actúa como maestra y estudiante. Mientras que la destilación de conocimiento convencional implica la transferencia de conocimiento de un modelo a otro, la autodestilación puede entender como la transferencia de conocimiento desde las capas más profundas de una red a las capas superficiales de la misma red.⁷

En la autodestilación, se agregan múltiples “clasificadores superficiales” basados en la atención a las capas intermedias del modelo a diferentes profundidades. Durante la capacitación, los clasificadores en profundidad actúan como modelos de maestros y guían la capacitación de los otros módulos basados en la atención a través de dos tipos de pérdidas por destilación: una pérdida métrica de divergencia KL en los mapas y una pérdida de regularización L2.

Una vez que el modelo está capacitado y listo para la inferencia, todos estos clasificadores superficiales se eliminan del modelo. Básicamente, esto permite que el modelo sea más grande y tenga mayor capacidad de reconocimiento de patrones durante el entrenamiento, pero luego sea más pequeño y, en consecuencia, más rápido y eficiente cuando se implemente.

Los LLM con las capacidades más altas son, en la mayoría de los casos, demasiado costosos y computacionalmente exigentes para ser accesibles a muchos posibles usuarios como aficionados, startups o instituciones de investigación. Además, a pesar de su desempeño avanzado y capacidades únicas, las LLM patentadas por su naturaleza no pueden adaptarse a aplicaciones de nicho y casos de uso específicos.

Además, la mayoría de los LLM comercialmente viables son demasiado grandes y computacionalmente exigentes para usar localmente en teléfonos móviles u otros dispositivos edge. Esto presenta varias complicaciones logísticas, computacionales y de privacidad que, de otro modo, se evitarían con un modelo más pequeño que podría ejecutar directamente en dispositivos móviles. Por lo tanto, la compresión de modelos de KD presenta un medio prometedor para transferir las cualidades emergentes de modelos grandes a modelos lo suficientemente pequeños como para ejecutarlos en el dispositivo.