¿Qué es el análisis discriminatorio lineal (LDA)?

El análisis discriminatorio lineal, también conocido como análisis discriminatorio normal (NDA) o análisis de función discriminatorio (DFA), sigue una infraestructura. Esto significa que los algoritmos LDA modelan la distribución de datos para cada clase y emplean el teorema de Bayes¹ para clasificar los nuevos puntos de datos. Bayes calcula las probabilidades condicionales, es decir, la probabilidad de que se produzca un suceso si se produjo otro. Los algoritmos LDA realizan predicciones empleando Bayes para calcular la probabilidad de que un conjunto de datos de entrada pertenezca a unos resultados determinados. Para una revisión de la estadística bayesiana y su impacto en los algoritmos de aprendizaje supervisado, consulte Clasificadores Naïve Bayes.

LDA funciona identificando una combinación lineal de características que separa o caracteriza dos o más clases de objetos o eventos. LDA lo hace proyectando datos con dos o más dimensiones en una dimensión para que puedan clasificarse más fácilmente. La técnica, por lo tanto, a veces se denomina reducción de dimensionalidad. Esta versatilidad asegura que LDA se pueda utilizar para problemas de clasificación de datos de varias clases, a diferencia de la regresión logística, que se limita a la clasificación binaria. Por lo tanto, el LDA se aplica a menudo para mejorar el funcionamiento de otros algoritmos de clasificación de aprendizaje como el árbol de decisión, el bosque aleatorio o las máquinas vectoriales de soporte (SVM).

El análisis discriminatorio lineal (LDA) se basa en el discriminatorio lineal de Fisher, un método estadístico desarrollado por Sir Ronald Fisher en la década de 1930 y simplificado posteriormente por C. R. Rao como versión de múltiples clases. El método de Fisher pretende identificar una combinación lineal de características que discrimine entre dos o más clases de objetos o sucesos etiquetados.

El método de Fisher reduce las dimensiones separando clases de datos proyectados. Separación significa maximizar la distancia entre las medias proyectadas y minimizar la varianza proyectada dentro de las clases.

Supongamos que un banco está decidiendo si aprobar o rechazar solicitudes de préstamo. El banco emplea dos características para tomar esta decisión: el puntaje crediticio del solicitante y los ingresos anuales.

Aquí, las dos características o clases se trazan en un plano bidimensional (2D) con un eje XY. Si intentáramos clasificar las aprobaciones empleando una sola característica, podríamos observar una superposición. Al aplicar LDA, podemos dibujar una línea recta que separa completamente estos dos puntos de datos de clase. LDA logra esto por medio del eje X-Y para crear un nuevo eje, separando las diferentes clases con una línea recta y proyectando datos sobre el nuevo eje.

Para crear este nuevo eje y reducir la dimensionalidad, LDA sigue estos criterios:

• Maximice la distancia entre las medias de dos clases.
• Minimice la variación dentro de las clases individuales.

Las LDA funcionan proyectando un espacio de características, es decir, un conjunto de datos con n dimensiones, en un espacio más pequeño "k", donde k es menor o igual a n – 1, sin perder información de clase. Un modelo LDA comprende las propiedades estadísticas que se calculan para los datos de cada clase. Cuando hay múltiples características o variables, estas propiedades se calculan sobre la distribución multivariante de Gaussian³.

Las multivariantes son:

• Medios
• Matriz de covarianza, que mide cómo cada variable o característica se relaciona con otras dentro de la clase

Las propiedades estadísticas que se estiman a partir del conjunto de datos se introducen en la función LDA para realizar predicciones y crear el modelo LDA. Hay algunas limitaciones a tener en cuenta, ya que el modelo asume lo siguiente:

• El conjunto de datos de entrada tiene una distribución de Gaussian, donde el trazado de los puntos de datos da una curva en forma de campana.
• El conjunto de datos es linealmente separable, lo que significa que LDA puede dibujar una línea recta o un límite de decisión que separe los puntos de datos.
• Cada clase tiene la misma matriz de covarianza.

Por estas razones, es posible que LDA no funcione bien en espacios de características de alta dimensión.

La reducción de la dimensionalidad implica separar los puntos de datos con una línea recta. Matemáticamente, las transformaciones lineales se analizan mediante vectores propios y valores propios. Imagine que trazó un conjunto de datos con múltiples características, lo que da como resultado un diagrama de dispersión multidimensional. Los vectores propios proporcionan la "dirección"  dentro del diagrama de dispersión. Los valores propios denotan la importancia de estos datos direccionales. Un valor propio alto significa que el vector propio asociado es más crítico.

Durante la reducción de la dimensionalidad, los vectores propios se calculan a partir del conjunto de datos y se recogen en dos matrices de dispersión:

• Matriz de dispersión entre clases (información sobre la distribución de datos dentro de cada clase)
• Matriz de dispersión intraclase (cómo se distribuyen las clases entre sí).

Para usar LDA de manera efectiva, es esencial preparar el conjunto de datos de antemano. Estos son los pasos y las mejores prácticas para implementar LDA:

1. Preprocesar los datos para garantizar que estén estandarizados y centrados

Esto se logra pasando el parámetro de componente n de la LDA, que identifica el número de discriminatorios lineales que se van a recuperar.

2. Elija un número adecuado de dimensiones para el espacio de dimensiones inferiores

Esto se logra pasando el parámetro de componente n de la LDA, que identifica el número de discriminatorios lineales que se van a recuperar.

3. Regularizar el modelo

La regularización tiene como objetivo evitar el sobreajuste, donde el modelo estadístico se ajusta exactamente a sus datos de entrenamiento y socava su precisión.

4. Uso de la validación cruzada para evaluar el rendimiento del modelo

Puede evaluar clasificadores tales como LDA trazando una matriz de confusión, con valores de clase reales como filas y valores de clase predichos como columnas. Una matriz de confusión hace que sea fácil ver si un clasificador está confundiendo dos clases, es decir, etiquetando erróneamente una clase como otra. Por ejemplo, considere una matriz de confusión de 10 x 10 que predice imágenes de cero a 9. Los datos reales se trazan en filas en el eje Y. Las predicciones se trazan en columnas en el eje x. Para ver cuántas veces un clasificador confundió imágenes de 4s y 9s en el ejemplo de matriz de confusión 10 x 10, usted tendría que comprobar la fila 4 y la columna 9.

La función discriminatoria lineal ayuda a tomar decisiones en problemas de clasificación separando puntos de datos basados en características y clasificándolos en diferentes clases o categorías. El proceso de cálculo se puede resumir en estos pasos clave:

La varianza entre clases es la separación entre clases, es decir, la distancia entre las medias de la clase.

La varianza dentro de la clase es la distancia entre las medias de clase y las muestras.

Esto maximiza la varianza entre clases y la minimiza dentro de las clases. Podemos representar matemáticamente la función discriminatoria lineal para dos clases con lo siguiente.

δ(x) = x * ( σ² * (μ₀-μ₁) - 2 * σ² * (μ₀²-μ₁²) + ln(P(w₀) / P(w₁)))

Dónde:

• δ(x) representa la función discriminatoria lineal.
• x representa el punto de datos de entrada.
• μ₀ y μ₁ son las medias de las dos clases.
• σ² es la varianza común dentro de la clase.
• P(ω₀) y P(ω₁) son las probabilidades a priori de las dos clases.

Usemos la ecuación para trabajar con un ejemplo de aprobación de préstamo. En resumen, el banco está decidiendo si aprobar o rechazar las solicitudes de préstamo. El banco emplea dos características para tomar esta decisión: la calificación de crédito del solicitante (x) y los ingresos anuales. El banco recopiló datos históricos sobre solicitantes de préstamos anteriores y si los préstamos fueron aprobados.

• La clase ω₀ representa "Préstamo rechazado".
• La clase ω₁ representa "Préstamo aprobado".

Mediante la función discriminatoria lineal, el banco puede calcular una puntuación (δ(x)) para cada solicitud de préstamo. 

La ecuación para la función discriminatoria lineal podría verse así:

δ(x) = x * ( σ² * (μ₀-μ₁) - 2 * σ² * (μ₀²-μ₁²) + ln(P(w₀) / P(w₁)))

• x representa la calificación de crédito y los ingresos anuales del solicitante.
• μ₀ y μ₁ son las medias de estas características para las dos clases: "Préstamo rechazado" y "Préstamo aprobado".
• σ² es la varianza común dentro de la clase.
• P (ω₀) es la probabilidad previa de " Préstamo rechazado ", y P (ω1) es la probabilidad previa de " Préstamo aprobado ".

El banco calcula la función discriminatoria lineal para cada solicitud de préstamo.

• Si δ(x) es positivo, sugiere que es más probable que se apruebe la solicitud de préstamo.
• Si δ(x) es negativo, sugiere que es más probable que se rechace la solicitud de préstamo.

De este modo, el banco puede automatizar su proceso de aprobación de préstamos, tomando decisiones más rápidas y coherentes, al tiempo que minimiza el sesgo humano.

Estos son escenarios típicos en los que se puede aplicar LDA para abordar problemas complejos y ayudar a las organizaciones a tomar mejores decisiones.

Para profundizar en el análisis discriminatorio lineal con Python y aprovechar la biblioteca scikit-learn, puede explorar este tutorial Aprender algoritmos de clasificación empleando Python y scikit-learn en IBM watsonx. El tutorial lo ayuda con los conceptos básicos para resolver un problema de machine learning basado en la clasificación empleando Python y scikit-learn (también conocido como sklearn).

Para el tutorial paso a paso, primero deberá importar las bibliotecas de Python necesarias para trabajar con el conjunto de datos de Iris, realizar el procesamiento previo de datos y crear y evaluar su modelo LDA:

<Python code snippet>

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import sklearn
import seaborn as sns
from sklearn.preprocessing import StandardScaler, LabelEncoder
from sklearn.model_selection import train_test_split
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import accuracy_score, confusion_matrix

Si las librerías no están instaladas, puede resolverlo por medio de pip install.

Consulte también esta documentación de scikit-learn para obtener una descripción general de los parámetros clave, atributos y ejemplos generales de implementaciones de Python mediante sklearn.discriminant_analysis.LinearDiscriminantAnalysis.

Comprender los beneficios y limitaciones del análisis discriminatorio lineal (LDA) es crucial para aplicarlo a diversos problemas de clasificación. El conocimiento de las compensaciones ayuda a los científicos de datos y a los profesionales del machine learning a tomar decisiones informadas sobre su idoneidad para una tarea en particular.

• Emplea la sencillez y la eficiencia de cálculo: LDA es un algoritmo sencillo pero poderoso. Es relativamente fácil de entender y aplicar, lo que lo hace accesible a los principiantes en el machine learning. Además, su cálculo eficiente garantiza Resultados rápidos.
• Gestiona datos de alta dimensión: LDA es eficaz cuando el número de características es mayor que el número de muestras de entrenamiento. Por lo tanto, LDA es valioso en aplicaciones como el análisis de texto, el reconocimiento de imágenes y la genómica, donde los datos suelen ser de alta dimensionalidad.
• Maneja la multicolinealidad: LDA puede tratar la multicolinealidad, que es la presencia de altas correlaciones entre diferentes características. Transforma los datos en un espacio de menor dimensión manteniendo la integridad de la información.

- Distribuciones medias compartidas: LDA encuentra desafíos cuando las distribuciones de clase comparten medias. LDA lucha por crear un nuevo eje que separe linealmente ambas clases. Como resultado, es posible que LDA no discrimine eficazmente entre clases con propiedades estadísticas superpuestas. Por ejemplo, imagine un escenario en el que dos especies de flores tienen pétalos de longitud y anchura muy similares. A LDA puede resultarle difícil separar estas especies con base en estas características únicamente. Aquí se prefieren técnicas alternativas, como los métodos de análisis discriminatorio no lineal.

- No apto para datos no etiquetados: LDA se aplica como un algoritmo de aprendizaje supervisado, es decir, clasifica o separa los datos etiquetados. Por el contrario, el análisis de componentes principales (PCA), otra técnica de reducción de dimensiones, ignora las etiquetas de clase y conserva la varianza.