Los métodos de boosting se enfocan en la combinación iterativa de aprendices débiles para crear un aprendiz fuerte que pueda predecir resultados más precisos. Como recordatorio, un  aprendiz débil clasifica los datos un poco mejor que las suposiciones al azar. Este enfoque puede proporcionar  resultados robustos para problemas de predicción, e incluso puede superar a las redes neuronales y soportar máquinas vectoriales para tareas como la recuperación de imágenes  (PDF, 1,9 MB) (enlace externo a ibm.com).  

Los algoritmos de boosting pueden diferir en la forma en que crean y agregan aprendices débiles durante el proceso secuencial. Tres tipos populares de métodos boosting son: 

• Boosting adaptativo o AdaBoost: a Yoav Freund y Robert Schapire se les atribuye la creación del algoritmo AdaBoost. Este método funciona de forma iterativa, identificando puntos de datos mal clasificados y ajustando sus pesos para minimizar el error de entrenamiento. El modelo continúa optimizándose de manera secuencial hasta que produce el predictor más fuerte.  
• Boosting de gradiente: sobre la base del trabajo de Leo Breiman, Jerome H. Friedman desarrolló el  boosting de gradiente, que funciona agregando secuencialmente predictores a un conjunto en el que  cada uno de ellos corrige los errores de su predecesor. Sin embargo, en lugar de cambiar el peso de los puntos de datos como AdaBoost, el boosting de gradiente  entrena los errores residuales del predictor anterior. Se utiliza el nombre, boosting de gradiente, ya que combina el algoritmo de descenso de gradiente y el método de boosting.  
• Boosting de gradiente extremo o XGBoost:  XGBoost es una implementación de boosting de gradiente diseñada para mejorar la velocidad y escala computacionales. XGBoost emplea múltiples núcleos en la CPU,  permitiendo que el aprendizaje ocurra en paralelo durante el entrenamiento.  

Beneficios y desafíos del boosting

Hay una serie de beneficios y desafíos clave que presenta el método de boosting cuando se utiliza para problemas de clasificación o regresión. 

Los beneficios clave del boosting incluyen:  

• Facilidad de implementación: El boosting se puede utilizar con varias opciones de configuración de hiperparámetros para mejorar el ajuste. No se requiere preprocesamiento de datos y los algoritmos de boosting tienen rutinas integradas para gestionar los datos faltantes. En Python, la biblioteca scikit-learn de métodos por conjuntos (también conocida como sklearn.ensemble) facilita la implementación de los métodos de boosting populares, incluidos AdaBoost, XGBoost, etc.  
• Reducción de sesgos: los algoritmos de boosting combinan múltiples aprendices débiles en un método secuencial, mejorando iterativamente las observaciones. Este enfoque puede ayudar a reducir el alto sesgo, que se observa comúnmente en árboles de decisión poco profundos y modelos de regresión logística. 
• Eficiencia computacional: dado que los algoritmos de boosting solo seleccionan características que aumentan su poder predictivo durante el entrenamiento, puede ayudar reducir la dimensionalidad así como a aumentar la eficiencia computacional.  

Los desafíos clave del boosting incluyen:  

•  Sobreajuste: hay alguna controversia en este estudio  (enlace externo a ibm.com) sobre si el boosting puede ayudar a reducir el sobreajuste o empeorarlo. Lo incluimos en los desafíos porque, en los casos en que ocurre, las predicciones no se pueden generalizar a nuevos conjuntos de datos.  
•  Computación intensa: el entrenamiento secuencial en el boosting es difícil de escalar. Dado que cada estimador se basa en sus predecesores, los modelos de boosting pueden ser computacionalmente costosos, aunque XGBoost busca corregir los problemas de escalabilidad que se observan en otros tipos de métodos de boosting. Los algoritmos de boosting pueden ser más lentos de entrenar en comparación a los de bagging, ya que una gran cantidad de parámetros también pueden influir en el comportamiento del modelo. 

Los algoritmos de boosting son adecuados para proyectos de inteligencia artificial en una amplia gama de industrias, que incluyen:  

• Cuidado de la salud: el boosting se utiliza para reducir los errores en las predicciones de datos médicos, como la predicción de factores de riesgo cardiovascular y las tasas de supervivencia de los pacientes con cáncer. Por ejemplo, este estudio  (enlace externo a ibm.com) muestra que los métodos por conjuntos mejoran significativamente la precisión en la identificación de pacientes que podrían beneficiarse del tratamiento preventivo de enfermedades cardiovasculares, mientras se evita el tratamiento innecesario de otros. Del mismo modo, otro estudio (enlace externo a IBM) descubrió que la aplicación del boosting a múltiples plataformas de genómica puede mejorar la predicción del tiempo de supervivencia del cáncer. 

• TI: los árboles de regresión potenciados por gradientes se utilizan en los motores de búsqueda para clasificar las páginas, mientras que el algoritmo de boosting de Viola-Jones se utiliza para  recuperación de imágenes. Como lo señaló Cornell  (enlace externo a ibm.com), los clasificadores potenciados permiten detener antes los cómputos, cuando está claro hacia dónde se dirige una predicción. Esto significa que  un motor de búsqueda puede detener la evaluación de las páginas de posicionamiento más bajo, mientras que los escáneres de imágenes solo examinarán las imágenes que efectivamente contengan el objeto buscado.   

• Finanzas: el boosting se utiliza con modelos de deep learning para automatizar tareas críticas, incluida la detección de fraudes, el análisis de precios y más. Por ejemplo, los métodos de boosting en la detección de fraudes con tarjetas de crédito y el análisis de precios de productos financieros  (enlace externo a ibm.com) mejoran la precisión del análisis de conjuntos de datos masivos para minimizar las pérdidas financieras.  

Las soluciones de IBM dan soporte al ciclo de vida del machine learning de principio a fin. Descubra cómo las herramientas de minería de datos de IBM, como IBM SPSS Modeler, le permiten desarrollar modelos predictivos para implementarlos en las operaciones de negocio. Y facilitan la mejora de la precisión de los modelos con el modelado. Para obtener más información sobre las ventajas de los métodos de boosting y bagging, visite la Comunidad de ciencia de datos de IBM.