¿Qué es el sobreajuste?

El sobreajuste anula el propósito del modelo de machine learning. La generalización de un modelo a nuevos datos es, en última instancia, lo que nos permite utilizar algoritmos de machine learning todos los días para hacer predicciones y clasificar datos.

Cuando se construyen algoritmos de machine learning, aprovechan un conjunto de datos de muestra para entrenar el modelo. Sin embargo, cuando el modelo entrena demasiado tiempo en los datos de muestra o cuando el modelo es demasiado complejo, puede comenzar a aprender el "ruido" o la información irrelevante, dentro del conjunto de datos. Cuando el modelo memoriza el ruido y encaja demasiado cerca del conjunto de entrenamiento, el modelo se vuelve "sobreajustado" y no puede generalizar bien los nuevos datos. Si un modelo no puede generalizarse correctamente a datos nuevos, no podrá realizar las tareas de clasificación o predicción para las que estaba previsto.

Las bajas tasas de error y una alta varianza son buenos indicadores de sobreajuste. Para evitar este tipo de comportamiento, parte del conjunto de datos de entrenamiento normalmente se reserva como el "conjunto de prueba" para comprobar si hay sobreajuste. Si los datos de entrenamiento tienen una tasa de error baja y los datos de prueba tienen una tasa de error alta, indica un sobreajuste.

Si el sobreentrenamiento o la complejidad del modelo dan como resultado un sobreajuste, una respuesta de prevención lógica sería pausar el proceso de entrenamiento antes, también conocido como "detención temprana", o reducir la complejidad en el modelo mediante la eliminación de entradas menos relevantes. Sin embargo, si hace una pausa demasiado temprana o excluye demasiadas características importantes, puede encontrarse con el problema contrario y, en su lugar, puede infraajustar su modelo. El infraajuste ocurre cuando el modelo no se ha entrenado durante suficiente tiempo o las variables de entrada no son lo suficientemente significativas como para determinar una relación significativa entre las variables de entrada y salida.

En ambos escenarios, el modelo no puede establecer la tendencia dominante dentro del conjunto de datos de entrenamiento. Como resultado, el infraajuste también se generaliza mal a datos no vistos. Sin embargo, a diferencia del sobreajuste, los modelos subajustados experimentan un alto sesgo y menos varianza dentro de sus predicciones. El sobreajuste vs. el infraajuste ilustra el equilibrio sesgo-varianza, que se produce cuando un modelo infraajustado pasa a un estado sobreajustado. A medida que el modelo aprende, su sesgo se reduce, pero puede aumentar su varianza a medida que se sobreajusta. Al ajustar un modelo, el objetivo es encontrar el "punto dulce" entre el infraajuste y el sobreajuste, de modo que pueda establecer una tendencia dominante y aplicarla ampliamente a nuevos conjuntos de datos.

Para comprender la precisión de los modelos de machine learning, es importante probar la idoneidad del modelo. La validación cruzada de K-fold es una de las técnicas más populares para evaluar la precisión del modelo.

En la validación cruzada de k pliegues, los datos se dividen en k subconjuntos de igual tamaño, que también se denominan "pliegues". Uno de los pliegues k actuará como conjunto de prueba, también conocido como conjunto de retención o conjunto de validación, y los pliegues restantes entrenarán el modelo. Este proceso se repite hasta que cada uno de los pliegues haya actuado como pliegue de retención. Después de cada evaluación, se conserva una puntuación y, cuando se han completado todas las iteraciones, se promedian las puntuaciones para evaluar el rendimiento del modelo global.

Si bien el uso de un modelo lineal nos ayuda a evitar el sobreajuste, muchos problemas del mundo real no son lineales. Además de entender cómo detectar el sobreajuste, es importante entender cómo evitar el sobreajuste por completo. A continuación se muestran varias técnicas que puede utilizar para evitar el sobreajuste:

• Parada temprana: como mencionamos anteriormente, este método busca pausar el entrenamiento antes de que el modelo comience a aprender el ruido dentro del modelo. Con este enfoque se corre el riesgo de detener el proceso de formación demasiado pronto, lo que llevaría al problema opuesto de falta de adaptación. El objetivo final es encontrar el punto óptimo entre el infraajuste y el sobreajuste.
  
  
• Entrene con más datos: ampliar el conjunto de entrenamiento para incluir más datos puede aumentar la precisión del modelo al brindar más oportunidades para analizar la relación dominante entre las variables de entrada y salida. Dicho esto, este es un método más eficaz cuando se inyectan datos limpios y relevantes en el modelo. De lo contrario, podría seguir añadiendo más complejidad al modelo, provocando que se sobreajuste.
  
  
• Aumento de datos: aunque es mejor inyectar datos limpios y relevantes en los datos de entrenamiento, a veces se añaden datos ruidosos para hacer que un modelo sea más estable. Sin embargo, este método debe hacerse con moderación.
  
  
• Selección de características: cuando crea un modelo, tendrá una serie de parámetros o características que se utilizan para predecir un resultado determinado, pero muchas veces, estas características pueden ser redundantes con respecto a otras. La selección de características es el proceso de identificar las más importantes dentro de los datos de entrenamiento y, a continuación, eliminar las irrelevantes o redundantes. Esto se suele confundir con la reducción de la dimensionalidad, pero es diferente. Sin embargo, ambos métodos ayudan a simplificar el modelo para establecer la tendencia dominante en los datos.
  
  
• Regularización: si se produce un sobreajuste cuando un modelo es demasiado complejo, tiene sentido que reduzcamos el número de características. Pero, ¿qué pasa si no sabemos qué entradas eliminar durante el proceso de selección de características? Si no sabemos qué características eliminar de nuestro modelo, los métodos de regularización pueden resultar especialmente útiles.
  
  La regularización aplica una "penalización" a los parámetros de entrada con los coeficientes más grandes, lo que posteriormente limita la cantidad de varianza en el modelo. Aunque existen varios métodos de regularización, como la regularización de Lasso, la regresión de Ridge y el abandono, todos buscan identificar y reducir el ruido dentro de los datos.
  
  
• Métodos de conjunto: los métodos de aprendizaje por conjuntos se componen de un conjunto de clasificadores, p. ej. árboles de decisión) y sus predicciones se agregan para identificar el resultado más popular. Los métodos de conjunto más conocidos son el bagging y el boosting. En el bagging, se selecciona una muestra aleatoria de datos de un conjunto de entrenamiento con reemplazo, lo que significa que los puntos de datos individuales pueden elegirse más de una vez. Después de generar varias muestras de datos, estos modelos se entrenan de forma independiente y según el tipo de tarea, es decir, regresión o clasificación: el promedio o la mayoría de esas predicciones arrojan una estimación más precisa. Esto se usa comúnmente para reducir la variación dentro de un conjunto de datos ruidoso.

Si bien la anterior es la definición establecida de sobreajuste, investigaciones recientes indican que los modelos complejos, como los modelos de deep learning y las redes neuronales, funcionan con una alta precisión a pesar de estar entrenados para "ajustarse o interpolarse exactamente". Este hallazgo contradice directamente la bibliografía histórica sobre este tema y se explica mediante la curva de riesgo de "doble descenso" que se muestra a continuación. Puede ver que a medida que el modelo aprende más allá del umbral de interpolación, el rendimiento del modelo mejora. Los métodos que mencionamos anteriormente para evitar el sobreajuste, como la detención temprana y la regularización, pueden evitar la interpolación.