¿Qué es el infraajuste?

El infraajuste se produce cuando un modelo es demasiado simple, lo que puede ser el resultado de que un modelo necesite más tiempo de entrenamiento, más características de entrada o menos regularización.

Como el sobreajuste, cuando un modelo no está bien ajustado, no puede establecer la tendencia dominante en los datos, lo que provoca errores de entrenamiento y un mal rendimiento del modelo. Si un modelo no se puede generalizar bien a nuevos datos, no se puede aprovechar para tareas de clasificación o predicción. La generalización de un modelo a nuevos datos es, en última instancia, lo que nos permite utilizar algoritmos de machine learning todos los días para hacer predicciones y clasificar datos.

Un alto sesgo y una baja varianza son buenos indicadores de infraajuste. Dado que este comportamiento se puede ver al utilizar el conjunto de datos de entrenamiento, los modelos infraajustados suelen ser más fáciles de identificar que los sobreajustados.

En pocas palabras, el sobreajuste es lo contrario al infraajuste, y se produce cuando el modelo ha sido sobreentrenado o cuando contiene demasiada complejidad, lo que da lugar a altas tasas de error en los datos de prueba. El sobreajuste de un modelo es más común que su infraajuste, y el infraajuste suele producirse en un esfuerzo por evitar el sobreajuste mediante un proceso denominado "detención temprana".

Si la falta de formación o la falta de complejidad se traduce en un infraajuste, una estrategia de prevención lógica consistiría en aumentar la duración de la formación o añadir aportaciones más relevantes. Sin embargo, si entrena demasiado el modelo o le añade demasiadas características, puede sobreajustar su modelo, lo que se traduce en una polarización baja pero una varianza alta (es decir, la compensación entre sesgo y varianza). En este escenario, el modelo estadístico se ajusta demasiado a sus datos de entrenamiento, por lo que es incapaz de generalizar bien a los nuevos puntos de datos. Es importante tener en cuenta que algunos tipos de modelos pueden ser más propensos al sobreajuste que otros, como los árboles de decisión o KNN.

Identificar el sobreajuste puede ser más difícil que el infraajuste porque, a diferencia del subajuste, los datos de entrenamiento funcionan con gran precisión en un modelo sobreajustado. Para evaluar la precisión de un algoritmo, normalmente se utiliza una técnica llamada validación cruzada de K veces.

En la validación cruzada de k pliegues, los datos se dividen en k subconjuntos de igual tamaño, que también se denominan "pliegues". Uno de los pliegues k actuará como conjunto de prueba, también conocido como conjunto de retención o conjunto de validación, y los pliegues restantes entrenarán el modelo. Este proceso se repite hasta que cada uno de los pliegues haya actuado como pliegue de retención. Después de cada evaluación, se conserva una puntuación y, cuando se han completado todas las iteraciones, se promedian las puntuaciones para evaluar el rendimiento del modelo global.

Lo ideal cuando se ajusta un modelo es encontrar el equilibrio entre el sobreajuste y el infraajuste. Identificar ese "punto óptimo" entre los dos permite a los modelos de machine learning hacer predicciones con precisión.

Dado que podemos detectar el infraajuste en función del conjunto de entrenamiento, podemos ayudar mejor a establecer la relación dominante entre las variables de entrada y salida al principio. Al mantener una complejidad adecuada del modelo, podemos evitar el infraajuste y hacer predicciones más precisas. A continuación se presentan algunas técnicas que se pueden utilizar para reducir el infraajuste:

La regularización se suele utilizar para reducir la varianza con un modelo aplicando una penalización a los parámetros de entrada con los coeficientes más grandes. Existen diversos métodos, como la regularización L1, la regularización Lasso, el abandono, etc., que ayudan a reducir el ruido y los valores atípicos dentro de un modelo. Sin embargo, si las características de los datos se vuelven demasiado uniformes, el modelo es incapaz de identificar la tendencia dominante, lo que conduce a un infraajuste. Al disminuir la cantidad de regularización, se introduce más complejidad y variación en el modelo, lo que permite entrenarlo con éxito.

Como se mencionó anteriormente, dejar de entrenar demasiado pronto también puede dar como resultado un modelo no apto. Por lo tanto puede evitarse ampliando la duración del entrenamiento. Sin embargo, es importante ser consciente del sobreentrenamiento y, posteriormente, del sobreajuste. Encontrar el equilibrio entre ambos escenarios será clave.

Con cualquier modelo, se utilizan características específicas para determinar un resultado determinado. Si no hay suficientes características predictivas presentes, se deben introducir más características o características con mayor importancia. Por ejemplo, en una red neuronal, puede agregar más neuronas ocultas o, en un bosque aleatorio, puede agregar más árboles. Este proceso inyectará más complejidad en el modelo, lo que producirá mejores resultados de entrenamiento.