¿En qué consiste el bagging?

En el bagging, se selecciona una muestra aleatoria de datos de un conjunto de entrenamiento con reemplazo, lo que significa que los puntos de datos individuales pueden elegirse más de una vez. Tras generar varias muestras de datos, estos modelos débiles se entrenan de forma independiente. Según el tipo de tarea (regresión o clasificación, por ejemplo), el promedio o la mayoría de esas predicciones arrojan una estimación más precisa.

Como nota, el algoritmo de bosque aleatorio se considera una extensión del método bagging, que utiliza tanto bagging como la aleatoriedad de características para crear un bosque no correlacionado de árboles de decisión.

El aprendizaje conjunto refuerza la idea de la "sabiduría de las multitudes", que sugiere que la toma de decisiones de un grupo más amplio de personas suele ser mejor que la de un experto individual. Del mismo modo, el aprendizaje conjunto se refiere a un grupo (o conjunto) de aprendices base, o modelos, que trabajan de forma colectiva para lograr una mejor predicción final.

Un modelo único, también conocido como modelo básico o de aprendizaje débil, puede no funcionar bien individualmente debido a la alta varianza o al alto sesgo. Sin embargo, cuando se agregan los aprendices débiles, pueden formar un aprendiz fuerte, ya que su combinación reduce el sesgo o la varianza, lo que produce un mejor rendimiento del modelo.

Los métodos de conjuntos utilizan con frecuencia árboles de decisión como ilustración. Este algoritmo puede ser propenso a sobreajuste, mostrando una alta varianza y un bajo sesgo, cuando no ha sido podado. A la inversa, también puede prestarse a un infraajuste, con una varianza baja y un sesgo alto, cuando es muy pequeño, como un tocón de decisión, que es un árbol de decisión con un nivel.

Recuerde que cuando un algoritmo se ajusta en exceso o en defecto a su conjunto de entrenamiento, no puede generalizar bien a nuevos conjuntos de datos, por lo que los métodos de conjuntos se utilizan para contrarrestar este comportamiento y permitir la generalización del modelo a nuevos conjuntos de datos. Aunque los árboles de decisión pueden presentar una varianza o un sesgo elevados, cabe señalar que no es la única técnica de modelado que aprovecha el aprendizaje por conjuntos para encontrar el punto óptimo dentro del equilibrio sesgo-varianza.

El bagging y el boosting son dos tipos principales de métodos de aprendizaje por conjuntos. Como se destaca en este estudio, la principal diferencia entre estos métodos de aprendizaje es cómo se entrenan.

En el bagging, los alumnos débiles se entrenan en paralelo, pero en el boosting, aprenden secuencialmente. Esto significa que se construye una serie de modelos y, con cada nueva iteración del modelo, se incrementan las ponderaciones de los datos mal clasificados en el modelo anterior.

Esta redistribución de las ponderaciones ayuda al algoritmo a identificar los parámetros en los que debe centrarse para mejorar su rendimiento. AdaBoost, que significa "algoritmo de boosting adaptativo", es uno de los algoritmos de boosting más populares, ya que fue uno de los primeros de su tipo. Otros tipos de algoritmos de boosting son XGBoost, GradientBoost y BrownBoost.

Otra diferencia en la que se distinguen el bagging y el boosting son los escenarios en los que se utilizan. Por ejemplo, los métodos de bagging se utilizan normalmente en aprendices débiles que muestran una varianza alta y un sesgo bajo, mientras que los métodos de boosting se utilizan cuando se observa una varianza baja y un sesgo alto.

En 1996, Leo Breiman introdujo el algoritmo de bagging, que consta de tres pasos básicos:

1. Bootstrapping: el bagging utiliza una técnica de muestreo bootstrapping para crear muestras diversas. Este método de remuestreo genera distintos subconjuntos del conjunto de datos de entrenamiento. Lo hace seleccionando puntos de datos al azar y con reemplazo. Esto significa que cada vez que seleccione un punto de datos del conjunto de datos de entrenamiento, puede seleccionar la misma instancia varias veces. Como resultado, un valor o instancia se repite dos veces (o más) en una muestra.
   
   
2. Entrenamiento paralelo: a continuación, estas muestras bootstrap se entrenan de forma independiente y en paralelo entre sí utilizando aprendices débiles o de base.
   
   
3. Agregación: por último, dependiendo de la tarea (es decir, regresión o clasificación), se toma una media o una mayoría de las predicciones para calcular una estimación más precisa. En el caso de la regresión, se toma una media de todos los outputs predichos por los clasificadores individuales; esto se conoce como votación suave. En el caso de los problemas de clasificación, se acepta la clase con la mayoría de votos más alta; esto se conoce como votación dura o votación por mayoría.

El método bagging presenta varias ventajas y retos clave cuando se utiliza para problemas de clasificación o regresión. Los beneficios clave del bagging incluyen:

• Facilidad de implementación: las bibliotecas de Python como scikit-learn (también conocida como sklearn) facilitan la combinación de las predicciones de los aprendices base o los estimadores para mejorar el rendimiento del modelo. Su documentación establece los módulos disponibles que puede utilizar en la optimización de su modelo.
  
  
• Reducción de la varianza: el bagging puede reducir la varianza dentro de un algoritmo de aprendizaje. Esto es especialmente útil con datos de alta dimensión, en los que los valores perdidos pueden dar lugar a una mayor varianza, lo que los hace más propensos al sobreajuste e impide una generalización precisa a nuevos conjuntos de datos.

Los retos clave del bagging incluyen:

• Pérdida de interpretabilidad: es difícil extraer conocimientos empresariales muy precisos a través del bagging debido al promedio implicado entre las predicciones. Aunque el resultado es más preciso que cualquier punto de datos individual, un conjunto de datos más exacto o completo también podría arrojar más precisión dentro de un único modelo de clasificación o regresión.
  
  
• Caro desde el punto de vista computacional: el bagging se ralentiza y se hace más intensivo a medida que aumenta el número de iteraciones. Por lo tanto, no es muy adecuado para aplicaciones en tiempo real. Los sistemas en clúster o un gran número de núcleos de procesamiento son ideales para crear rápidamente conjuntos de bagging sobre grandes conjuntos de pruebas.
  
  
• Menos flexible: como técnica, el bagging funciona especialmente bien con algoritmos que son menos estables. Uno que sea más estable o esté sujeto a altos niveles de sesgo no proporciona tanto beneficio ya que hay menos variación dentro del conjunto de datos del modelo. Como se señala en la Hands-On Guide to Machine Learning, "ensamblar un modelo de regresión lineal solo devolverá las predicciones originales para un b suficientemente grande".

La técnica de bagging se utiliza en muchos sectores, proporcionando información tanto sobre el valor real como sobre perspectivas interesantes, como en los GRAMMY Debates with Watson. Los casos de uso clave incluyen:

• Sanidad: el bagging se ha utilizado para formar predicciones de datos médicos. Por ejemplo, la investigación muestra que los métodos de conjunto se han utilizado para una serie de problemas bioinformáticos, como la selección de genes y/o proteínas para identificar un rasgo específico de interés. Más concretamente, esta investigación profundiza en su uso para predecir la aparición de diabetes basándose en varios predictores de riesgo.
  
  
• TI: el bagging también puede mejorar la precisión y la exactitud de los sistemas de TI, como los sistemas de detección de intrusiones en la red. Mientras tanto, esta investigación analiza cómo el bagging puede mejorar la precisión de la detección de intrusiones en la red y reducir las tasas de falsos positivos.
  
  
• Entorno: los métodos de conjuntos, como el bagging, se han aplicado en el campo de la detección remota. Más concretamente, esta investigación muestra cómo se ha utilizado para cartografiar los tipos de humedales dentro de un paisaje costero.
  
  
• Finanzas: el bagging también se ha utilizado con modelos de deep learning en el sector financiero, automatizando tareas críticas, como la detección del fraude, las evaluaciones de riesgo crediticio y los problemas de valoración de opciones. Esta investigación demuestra cómo se ha aprovechado el bagging, entre otras técnicas de machine learning, para evaluar el riesgo de impago de los préstamos. Este estudio destaca cómo el bagging ayuda a minimizar el riesgo al prevenir el fraude con tarjetas de crédito dentro de las instituciones bancarias y financieras.