Obtenga información sobre cómo aplicar boosting a algoritmos y cómo pueden mejorar el poder predictivo de sus iniciativas de minería de datos.
El boosting es un método de aprendizaje por conjuntos que combina una serie de aprendices débiles en un aprendiz fuerte para minimizar los errores de entrenamiento. En el boosting, se selecciona una muestra aleatoria de datos, se ajusta a un modelo y luego se entrena secuencialmente, es decir, cada modelo intenta compensar las debilidades de su predecesor. Con cada iteración, las reglas débiles de cada clasificador individual se combinan para formar una regla de predicción fuerte.
Antes de continuar, exploremos la categoría de aprendizaje por conjuntos de manera más amplia, destacando dos de los métodos más conocidos: bagging y boosting.
Aprendizaje por conjuntos
El aprendizaje por conjuntos da credibilidad a la idea de la "sabiduría de las masas", que sugiere que la toma de decisiones de un grupo más grande de personas suele ser mejor que la de una persona experta. De manera similar, el aprendizaje por conjuntos se refiere a un grupo (o conjunto) de aprendices básicos, o modelos, que trabajan colectivamente para lograr una mejor predicción final. Un solo modelo, también conocido como aprendiz básico o débil, puede no funcionar bien individualmente debido a una gran variación o un alto sesgo. Sin embargo, cuando se agrupan los aprendices débiles, pueden formar un aprendiz fuerte, ya que su combinación reduce el sesgo o la varianza, produciendo un mejor rendimiento del modelo.
Los métodos de conjunto se ilustran con frecuencia utilizando árboles de decisión, ya que este algoritmo puede ser propenso a sobreajustarse (alta varianza y bajo sesgo) cuando no se ha podado y también puede prestarse al subajuste (baja varianza y alto sesgo) cuando es muy pequeño, como un tocón de decisión, que es un árbol de decisión con un nivel. Recuerde que, cuando un algoritmo se sobreajusta o subajusta a su conjunto de datos de entrenamiento, no se puede generalizar bien a nuevos conjuntos de datos, por lo que se utilizan métodos por conjuntos para contrarrestar este comportamiento y permitir la generalización del modelo a nuevos conjuntos de datos. Si bien los árboles de decisión pueden exhibir una alta varianza o un alto sesgo, vale la pena señalar que no es la única técnica de modelado que aprovecha el aprendizaje por conjuntos para encontrar el "punto óptimo" dentro del equilibrio sesgo-varianza.
Bagging frente a boosting
El bagging y el boosting son dos de los tipos principales de métodos de aprendizaje por conjuntos. Como se destaca en este estudio (PDF, 242 KB) (enlace externo a ibm.com), la principal diferencia entre estos métodos de aprendizaje es la forma en que se entrenan. En el bagging, los aprendices débiles se entrenan en paralelo, pero en el boosting, aprenden secuencialmente. Esto significa que se construye una serie de modelos y con cada nueva iteración del modelo, se incrementan los pesos de los datos mal clasificados en el modelo anterior. Esta redistribución de pesos ayuda al algoritmo a identificar los parámetros en los que necesita enfocarse para mejorar su rendimiento. AdaBoost, que significa "algoritmo de impulso adaptativo", es uno de los algoritmos de boosting más populares, ya que fue uno de los primeros de su tipo. Otros tipos de algoritmos de boosting incluyen XGBoost, GradientBoost y BrownBoost.
Otra diferencia entre bagging y boosting es en cómo se utilizan. Por ejemplo, los métodos de bagging se utilizan normalmente en aprendices débiles que muestran alta varianza y bajo sesgo, mientras que los métodos de boosting se emplean cuando se observa baja varianza y alto sesgo. Si bien el bagging se puede utilizar para evitar el sobreajuste, los métodos de boosting pueden ser más propensos a esto (enlace externo a ibm.com) aunque realmente depende del conjunto de datos. Sin embargo, el ajuste de parámetros puede ayudar a evitar el problema.
Como resultado, el bagging y el boosting también tienen diferentes aplicaciones en el mundo real. El bagging se ha empleado para los procesos de aprobación de préstamos y la genómica estadística, mientras que el boosting se ha utilizado más en aplicaciones de reconocimiento de imágenes y motores de búsqueda.
SPSS Modeler
Los métodos de boosting se enfocan en la combinación iterativa de aprendices débiles para crear un aprendiz fuerte que pueda predecir resultados más precisos. Como recordatorio, un aprendiz débil clasifica los datos un poco mejor que las suposiciones al azar. Este enfoque puede proporcionar resultados robustos para problemas de predicción, e incluso puede superar a las redes neuronales y soportar máquinas vectoriales para tareas como la recuperación de imágenes (PDF, 1,9 MB) (enlace externo a ibm.com).
Los algoritmos de boosting pueden diferir en la forma en que crean y agregan aprendices débiles durante el proceso secuencial. Tres tipos populares de métodos boosting son:
Beneficios y desafíos del boosting
Hay una serie de beneficios y desafíos clave que presenta el método de boosting cuando se utiliza para problemas de clasificación o regresión.
Los beneficios clave del boosting incluyen:
Los desafíos clave del boosting incluyen:
Los algoritmos de boosting son adecuados para proyectos de inteligencia artificial en una amplia gama de industrias, que incluyen:
Cuidado de la salud: el boosting se utiliza para reducir los errores en las predicciones de datos médicos, como la predicción de factores de riesgo cardiovascular y las tasas de supervivencia de los pacientes con cáncer. Por ejemplo, este estudio (enlace externo a ibm.com) muestra que los métodos por conjuntos mejoran significativamente la precisión en la identificación de pacientes que podrían beneficiarse del tratamiento preventivo de enfermedades cardiovasculares, mientras se evita el tratamiento innecesario de otros. Del mismo modo, otro estudio (enlace externo a IBM) descubrió que la aplicación del boosting a múltiples plataformas de genómica puede mejorar la predicción del tiempo de supervivencia del cáncer.
TI: los árboles de regresión potenciados por gradientes se utilizan en los motores de búsqueda para clasificar las páginas, mientras que el algoritmo de boosting de Viola-Jones se utiliza para recuperación de imágenes. Como lo señaló Cornell (enlace externo a ibm.com), los clasificadores potenciados permiten detener antes los cómputos, cuando está claro hacia dónde se dirige una predicción. Esto significa que un motor de búsqueda puede detener la evaluación de las páginas de posicionamiento más bajo, mientras que los escáneres de imágenes solo examinarán las imágenes que efectivamente contengan el objeto buscado.
Finanzas: el boosting se utiliza con modelos de deep learning para automatizar tareas críticas, incluida la detección de fraudes, el análisis de precios y más. Por ejemplo, los métodos de boosting en la detección de fraudes con tarjetas de crédito y el análisis de precios de productos financieros (enlace externo a ibm.com) mejoran la precisión del análisis de conjuntos de datos masivos para minimizar las pérdidas financieras.
Las soluciones de IBM dan soporte al ciclo de vida del machine learning de principio a fin. Descubra cómo las herramientas de minería de datos de IBM, como IBM SPSS Modeler, le permiten desarrollar modelos predictivos para implementarlos en las operaciones de negocio. Y facilitan la mejora de la precisión de los modelos con el modelado. Para obtener más información sobre las ventajas de los métodos de boosting y bagging, visite la Comunidad de ciencia de datos de IBM.
Impulse el retorno de la inversión y acelere el tiempo de generación de valor con una herramienta de ciencia de datos intuitiva de arrastrar y soltar.
Híbrida. Abierta. Resiliente. Su plataforma y socio para la transformación digital.
Software de nube híbrida impulsado por IA.