¿Qué es el análisis discriminatorio lineal (LDA)?

El análisis discriminatorio lineal, también conocido como análisis discriminatorio normal (NDA) o análisis de función discriminatoria (DFA), sigue un marco de modelo generativo. Esto significa que los algoritmos LDA modelan la distribución de datos para cada clase y utilizan el teorema¹ de Bayes para clasificar nuevos puntos de datos. Bayes calcula las probabilidades condicionales (la probabilidad de un evento derivado de otro evento). Los algoritmos LDA hacen predicciones mediante el uso de Bayes para calcular la probabilidad de que un conjunto de datos de entrada pertenezca a un resultado en particular. Para obtener una revisión de las estadísticas bayesianas y cómo afecta a los algoritmos de aprendizaje supervisado, consulte Clasificadores Naïve Bayes.

LDA funciona identificando una combinación lineal de características que separa o caracteriza dos o más clases de objetos o eventos. LDA hace esto proyectando datos con dos o más dimensiones en una dimensión para que puedan clasificarse más fácilmente. Por lo tanto, la técnica a veces se denomina reducción de dimensionalidad. Esta versatilidad garantiza que la LDA se pueda emplear para problemas de clasificación de datos de múltiples clases, a diferencia de la regresión logística, que se limita a la clasificación binaria. Por lo tanto, LDA se aplica a menudo para mejorar el funcionamiento de otros algoritmos de clasificación de aprendizaje, como el Decision Trees, el bosque aleatorio o las máquinas de vectores de soporte (SVM).

El análisis discriminatorio lineal (LDA) se basa en el discriminatorio lineal de Fisher, un método estadístico desarrollado por Sir Ronald Fisher en la década de 1930 y simplificado posteriormente por C. R. Rao como versión de múltiples clases. El método de Fisher pretende identificar una combinación lineal de características que discrimine entre dos o más clases de objetos o sucesos etiquetados.

El método de Fisher reduce las dimensiones separando clases de datos proyectados. Separación significa maximizar la distancia entre las medias proyectadas y minimizar la varianza proyectada dentro de las clases.

Supongamos que un banco está decidiendo si aprobar o rechazar solicitudes de préstamo. El banco emplea dos características para tomar esta decisión: el puntaje crediticio del solicitante y los ingresos anuales.

Aquí, las dos características o clases se trazan en un plano bidimensional (2D) con un eje XY. Si intentáramos clasificar las aprobaciones empleando una sola característica, podríamos observar una superposición. Al aplicar LDA, podemos dibujar una línea recta que separa completamente estos dos puntos de datos de clase. LDA logra esto por medio del eje X-Y para crear un nuevo eje, separando las diferentes clases con una línea recta y proyectando datos sobre el nuevo eje.

Para crear este nuevo eje y reducir la dimensionalidad, LDA sigue estos criterios:

• Maximice la distancia entre las medias de dos clases.
• Minimice la variación dentro de las clases individuales.

Las LDA funcionan proyectando un espacio de características, es decir, un conjunto de datos con n dimensiones, en un espacio más pequeño "k", donde k es menor o igual a n – 1, sin perder información de clase. Un modelo LDA comprende las propiedades estadísticas que se calculan para los datos de cada clase. Cuando hay múltiples características o variables, estas propiedades se calculan sobre la distribución multivariante de Gaussian³.

Las multivariantes son:

• Medios
• Matriz de covarianza, que mide cómo cada variable o característica se relaciona con otras dentro de la clase

Las propiedades estadísticas que se estiman a partir del conjunto de datos se introducen en la función LDA para realizar predicciones y crear el modelo LDA. Hay algunas limitaciones a tener en cuenta, ya que el modelo asume lo siguiente:

• El conjunto de datos de entrada tiene una distribución de Gaussian, donde el trazado de los puntos de datos da una curva en forma de campana.
• El conjunto de datos es linealmente separable, lo que significa que LDA puede dibujar una línea recta o un límite de decisión que separe los puntos de datos.
• Cada clase tiene la misma matriz de covarianza.

Por estas razones, es posible que LDA no funcione bien en espacios de características de alta dimensión.

La reducción de la dimensionalidad implica separar los puntos de datos con una línea recta. Matemáticamente, las transformaciones lineales se analizan mediante vectores propios y valores propios. Imagine que trazó un conjunto de datos con múltiples características, lo que da como resultado un diagrama de dispersión multidimensional. Los vectores propios proporcionan la "dirección"  dentro del diagrama de dispersión. Los valores propios denotan la importancia de estos datos direccionales. Un valor propio alto significa que el vector propio asociado es más crítico.

Durante la reducción de la dimensionalidad, los vectores propios se calculan a partir del conjunto de datos y se recogen en dos matrices de dispersión:

• Matriz de dispersión entre clases (información sobre la distribución de datos dentro de cada clase)
• Matriz de dispersión intraclase (cómo se distribuyen las clases entre sí).

Para usar LDA de manera efectiva, es esencial preparar el conjunto de datos de antemano. Estos son los pasos y las mejores prácticas para implementar LDA:

Esto se logra pasando el parámetro de componente n de la LDA, que identifica el número de discriminatorios lineales que se van a recuperar.

Esto se logra pasando el parámetro de componente n de la LDA, que identifica el número de discriminatorios lineales que se van a recuperar.

La regularización tiene como objetivo evitar el sobreajuste, donde el modelo estadístico se ajusta exactamente a sus datos de entrenamiento y socava su precisión.

Puede evaluar clasificadores tales como LDA trazando una matriz de confusión, con valores de clase reales como filas y valores de clase predichos como columnas. Una matriz de confusión hace que sea fácil ver si un clasificador está confundiendo dos clases, es decir, etiquetando erróneamente una clase como otra. Por ejemplo, considere una matriz de confusión de 10 x 10 que predice imágenes de cero a 9. Los datos reales se trazan en filas en el eje Y. Las predicciones se trazan en columnas en el eje x. Para ver cuántas veces un clasificador confundió imágenes de 4s y 9s en el ejemplo de matriz de confusión 10 x 10, usted tendría que comprobar la fila 4 y la columna 9.

La función discriminatoria lineal ayuda a tomar decisiones en problemas de clasificación separando puntos de datos basados en características y clasificándolos en diferentes clases o categorías. El proceso de cálculo se puede resumir en estos pasos clave:

La varianza entre clases es la separación entre clases, es decir, la distancia entre las medias de la clase.

La varianza dentro de la clase es la distancia entre las medias de clase y las muestras.

Esto maximiza la varianza entre clases y la minimiza dentro de las clases. Podemos representar matemáticamente la función discriminatoria lineal para dos clases con lo siguiente.

δ(x) = x * ( σ² * (μ₀-μ₁) - 2 * σ² * (μ₀²-μ₁²) + ln(P(w₀) / P(w₁)))

Dónde:

• δ(x) representa la función discriminatoria lineal.
• x representa el punto de datos de entrada.
• μ₀ y μ₁ son las medias de las dos clases.
• σ² es la varianza común dentro de la clase.
• P(ω₀) y P(ω₁) son las probabilidades previas de las dos clases.

Usemos la ecuación para trabajar con un ejemplo de aprobación de préstamo. En resumen, el banco está decidiendo si aprobar o rechazar las solicitudes de préstamo. El banco emplea dos características para tomar esta decisión: la calificación de crédito del solicitante (x) y los ingresos anuales. El banco recopiló datos históricos sobre solicitantes de préstamos anteriores y si los préstamos fueron aprobados.

• La clase ω₀ representa " Préstamo rechazado".
• La clase ω₁ representa "Préstamo aprobado".

Usando la función discriminatoria lineal, el banco puede calcular una puntuación (δ (x)) para cada solicitud de préstamo. 

La ecuación para la función discriminatoria lineal podría verse así:

δ(x) = x * ( σ² * (μ₀-μ₁) - 2 * σ² * (μ₀²-μ₁²) + ln(P(w₀) / P(w₁)))

• x representa la calificación de crédito y los ingresos anuales del solicitante.
• μ₀ y μ₁ son los medios de estas características para las dos clases: "Préstamo rechazado" y "Préstamo aprobado".
• σ² es la varianza común dentro de la clase.
• P (ω₀) es la probabilidad previa de "Préstamo rechazado", y P (ω1) es la probabilidad previa de "Préstamo aprobado".

El banco calcula la función discriminatoria lineal para cada solicitud de préstamo.

• Si δ(x) es positivo, sugiere que es más probable que se apruebe la solicitud de préstamo.
• Si δ(x) es negativo, sugiere que es más probable que se rechace la solicitud de préstamo.

De este modo, el banco puede automatizar su proceso de aprobación de préstamos, tomando decisiones más rápidas y coherentes, al tiempo que minimiza el sesgo humano.

Estos son escenarios típicos en los que se puede aplicar LDA para abordar problemas complejos y ayudar a las organizaciones a tomar mejores decisiones.

Para profundizar en el análisis discriminante lineal con Python y aprovechar la biblioteca scikit-learn, puede explorar este tutorial Aprenda algoritmos de clasificación con Python y scikit-learn en IBM watsonx. El tutorial le ayuda con los conceptos básicos para resolver un problema de machine learning basado en clasificación mediante Python y scikit-learn (también conocido como sklearn).

Para el tutorial paso a paso, primero deberá importar las bibliotecas de Python necesarias para trabajar con el conjunto de datos de Iris, realizar el procesamiento previo de datos y crear y evaluar su modelo LDA:

<Fragmento de código de Python>

import numpy as np import pandas as pd import matplotlib.pyplot as plt import sklearn import seaborn as sns from sklearn.preprocessing import StandardScaler, LabelEncoder from sklearn.model_selection import train_test_split from sklearn.discriminant_analysis import LinearDiscriminantAnalysis from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import precision_score, confusion_matrix

Si las librerías no están instaladas, puede resolverlo por medio de pip install.

Consulte también esta documentación de scikit-learn el enlace se encuentra fuera de ibm.com) para obtener una descripción general de los parámetros clave, atributos y ejemplos generales de implementaciones de Python mediante sklearn.discriminant_analysis.LinearDiscriminantAnalysis.

Comprender los beneficios y limitaciones del análisis discriminatorio lineal (LDA) es crucial para aplicarlo a diversos problemas de clasificación. El conocimiento de las compensaciones ayuda a los científicos de datos y a los profesionales del aprendizaje automático a tomar decisiones informadas sobre su idoneidad para una tarea en particular.

• Utilice la simplicidad y la eficiencia de la computación: LDA es un algoritmo simple pero potente. Es relativamente fácil de entender e implementar, lo que lo hace accesible para aquellos que son nuevos en el machine learning. Además, su cálculo eficiente garantiza resultados rápidos.
• Gestione datos de alta dimensión: LDA es eficaz cuando el número de características es mayor que el número de muestras de entrenamiento. Por lo tanto, LDA es valioso en aplicaciones tales como análisis de texto, reconocimiento de imágenes y genómica, donde los datos suelen ser de alta dimensión.
• Manejar la multicolinealidad: LDA puede abordar la multicolinealidad, que es la presencia de altas correlaciones entre diferentes características. Transforma los datos en un espacio de menor dimensión mientras mantiene la integridad de la información.

- Distribuciones medias compartidas: LDA encuentra desafíos cuando las distribuciones de clase comparten medias. LDA lucha por crear un nuevo eje que separe linealmente ambas clases. Como resultado, es posible que LDA no discrimine eficazmente entre clases con propiedades estadísticas superpuestas. Por ejemplo, imagine un escenario en el que dos especies de flores tienen pétalos de longitud y anchura muy similares. A LDA puede resultarle difícil separar estas especies con base en estas características únicamente. Aquí se prefieren técnicas alternativas, como los métodos de análisis discriminatorio no lineal.

- No apto para datos no etiquetados: LDA se aplica como un algoritmo de aprendizaje supervisado, es decir, clasifica o separa los datos etiquetados. Por el contrario, el análisis de componentes principales (PCA), otra técnica de reducción de dimensiones, ignora las etiquetas de clase y conserva la varianza.