¿Qué es el ajuste de hiperparámetros?

El índice e aprendizaje establece la velocidad a la que un modelo ajusta sus parámetros en cada iteración. Estos ajustes se conocen como pasos. Una alto índice de aprendizaje significa que un modelo se ajustará más rápidamente, pero con el riesgo de un rendimiento inestable y una desviación de los datos. Mientras tanto, si bien un índice de aprendizaje bajo requiere más tiempo y más datos, también hace que sea más probable que los científicos de datos identifiquen la pérdida mínima de un modelo. La optimización del descenso del gradiente es un ejemplo de una métrica de entrenamiento que requiere un índice de aprendizaje establecido.

La disminución del índice de aprendizaje establece la velocidad a la que índice de aprendizaje de una red disminuye con el tiempo, lo que permite que el modelo aprenda más rápidamente. La progresión del entrenamiento de un algoritmo desde su activación inicial hasta su rendimiento ideal se conoce como convergencia.

El tamaño del lote establece la cantidad de muestras que calculará el modelo antes de actualizar sus parámetros. Tiene un efecto significativo tanto en la eficiencia informática como en la precisión del proceso de entrenamiento. Por sí solo, un tamaño de lote más alto socava el rendimiento general, pero ajustar el índice de aprendizaje junto con el tamaño del lote puede mitigar esta pérdida.

El número de capas ocultas en una neural network determina su profundidad, lo que afecta su complejidad y capacidad de aprendizaje. Menos capas dan como resultado un modelo más simple y rápido, pero más capas (como en las redes de aprendizaje profundo) conducen a una mejor clasificación de los datos de entrada. Para identificar el valor óptimo del hiperparámetro entre todas las combinaciones posibles se necesita encontrar un equilibrio entre velocidad y precisión.

El número de nodos o neuronas por capa establece el ancho del modelo. Cuantos más nodos o neuronas por capa, mayor es la amplitud del modelo y más capaz es de representar relaciones complejas entre puntos de datos.

El impulso es el grado en que los modelos actualizan los parámetros en la misma dirección que las iteraciones anteriores, en lugar de revertir el curso. La mayoría de los científicos de datos comienzan con un valor de hiperparámetro más bajo para el impulso y luego lo ajustan hacia arriba según sea necesario para mantener el modelo en curso a medida que toma datos de entrenamiento. 

Épocas es un hiperparámetro que establece la cantidad de veces que un modelo se expone a todo su conjunto de datos de entrenamiento durante el proceso de entrenamiento. Una mayor exposición puede conducir a un mejor rendimiento, pero corre el riesgo de sobreajuste. 

La función de activación introduce no linealidad en un modelo, lo que le permite manejar conjuntos de datos más complejos. Los modelos no lineales pueden generalizar y adaptar a una mayor variedad de datos. 

C es la relación entre el margen de error aceptable y el número de errores resultante cuando un modelo actúa como clasificador de datos. Un valor C más bajo establece un límite de decisión suave con una mayor tolerancia al error y un rendimiento más genérico, pero con un riesgo de clasificación incorrecta de los datos. Mientras tanto, un valor C alto crea un límite de decisión nítido para obtener resultados de entrenamiento más precisos, pero con un posible sobreajuste. 

Kernel es una función que establece la naturaleza de las relaciones entre los puntos de datos y los separa en grupos en consecuencia. Dependiendo del kernel empleado, los puntos de datos mostrarán diferentes relaciones, lo que puede afectar en gran medida el rendimiento general del modelo SVM. Lineal, polinomial, función de base radial (RBF) y sigmoide son algunos de los kernels más empleados. Los kernels lineales son más simples y mejores para datos fácilmente separables, mientras que los kernels no lineales son mejores para conjuntos de datos más complejos. 

Gamma establece el nivel de influencia que los vectores de soporte tienen en el límite de decisión. Los vectores de soporte son los puntos de datos más cercanos al hiperplano: el límite entre grupos de datos. Los valores más altos atraen una fuerte influencia de los vectores cercanos, mientras que los valores más bajos limitan la influencia de los más distantes. Establecer un valor gamma demasiado alto puede causar un sobreajuste, mientras que un valor demasiado bajo puede enturbiar el límite de decisión. 

learning_rate es similar al hiperparámetro de índice de aprendizaje utilizado por neural networks. Esta función controla el nivel de corrección realizada durante cada ronda de entrenamiento. Los valores potenciales varían de 0 a 1, siendo 0.3 el valor predeterminado. 

n_estimators establece el número de árboles en el modelo. Este hiperparámetro se conoce como num_boost_rounds en el XGBoost original, mientras que la popular API de Python scikit-learn introdujo el nombre n_estimators. 

max_depth determina la arquitectura de los decision trees, estableciendo la cantidad máxima de nodos del árbol a cada hoja, el clasificador final. Más nodos conducen a una clasificación de datos más matizada, mientras que los árboles más pequeños evitan fácilmente el sobreajuste. 

min_child_weight es la ponderación mínima (la importancia de una clase determinada para el proceso global de entrenamiento del modelo) necesaria para generar un nuevo árbol. Las ponderaciones mínimas más bajas crean más árboles, pero con un posible sobreajuste, mientras que las ponderaciones más altas reducen la complejidad al requerir más datos para dividir los árboles. 

subsample establece el porcentaje de muestras de datos empleadas durante cada ronda de entrenamiento, y colsample_bytree fija el porcentaje de características a emplear en la construcción del árbol. 

La búsqueda en cuadrícula es un método de ajuste de hiperparámetros completo y exhaustivo. Después de que los científicos de datos establecen todos los valores posibles para cada hiperparámetro, una búsqueda en cuadrícula construye modelos para cada configuración posible de esos valores de hiperparámetros discretos. Cada uno de estos modelos se evalúa para determinar su rendimiento y se compara entre sí, y finalmente se selecciona el mejor modelo para el entrenamiento. 

De esta manera, la búsqueda en cuadrícula es similar a la fuerza bruta de un PIN ingresando cada combinación potencial de números hasta que se descubre la secuencia correcta. Si bien permite a los científicos de datos considerar todas las configuraciones posibles en el espacio de hiperparámetros, la búsqueda en cuadrícula es ineficiente y requiere muchos recursos computacionales.

La búsqueda aleatoria difiere de la búsqueda en cuadrícula en que los científicos de datos proporcionan distribuciones estadísticas en lugar de valores discretos para cada hiperparámetro. Una búsqueda aleatoria extrae muestras de cada rango y construye modelos para cada combinación. A lo largo de varias iteraciones, los modelos se comparan entre sí hasta encontrar el mejor. 

La búsqueda aleatoria es preferible a la búsqueda en cuadrícula en situaciones en las que el espacio de búsqueda de hiperparámetros contiene grandes distribuciones; simplemente requeriría demasiado esfuerzo probar cada valor discreto. Los algoritmos de búsqueda aleatoria pueden arrojar resultados comparables a la búsqueda en cuadrícula en un tiempo considerablemente menor, aunque no se garantiza que descubran la configuración de hiperparámetros óptima.

La optimización bayesiana es un algoritmo de optimización secuencial basado en modelos (SMBO) en el que cada iteración de las pruebas mejora el método de ejemplificación de la siguiente. Tanto las búsquedas en cuadrícula como las aleatorias se pueden realizar simultáneamente, pero cada prueba se realiza de forma aislada: los científicos de datos no pueden usar lo que aprendieron para fundamentar pruebas posteriores. 

Con base en pruebas anteriores, la optimización bayesiana selecciona de forma probabilística un nuevo conjunto de valores de hiperparámetros que probablemente produzca mejores resultados. El modelo probabilístico se considera un sustituto de la función objetivo original. Debido a que los modelos sustitutos son computacionalmente eficientes, generalmente se actualizan y mejoran cada vez que se ejecuta la función objetivo. 

Cuanto mejor sea el sustituto para predecir hiperparámetros óptimos, más rápido se vuelve el proceso, y se requerirán menos pruebas de función objetiva. Esto hace que la optimización bayesiana sea mucho más eficiente que los otros métodos, ya que no se pierde tiempo en combinaciones inadecuadas de valores de hiperparámetros. 

El proceso de determinar estadísticamente la relación entre un resultado (en este caso, el mejor rendimiento del modelo) y un conjunto de variables se conoce como análisis de regresión. Los procesos gaussianos son una de esos populares SMBO entre los científicos de datos.

Introducido en 2016, Hyperband (enlace externo a ibm.com) está diseñado para mejorar la búsqueda aleatoria al truncar el uso de configuraciones de entrenamiento que no ofrecen resultados sólidos mientras que asignan más recursos a configuraciones positivas. 

Esta “interrupción temprana” se logra mediante la reducción a la mitad sucesiva, un proceso que reduce el conjunto de configuraciones eliminando la mitad de peor rendimiento luego de cada ronda de entrenamiento. El 50 % superior de cada lote se lleva a la siguiente iteración hasta que queda una configuración óptima de hiperparámetros.