¿Qué son las máquinas de vector de soporte (SVM)?

Las SVM fueron desarrolladas en la década de 1990 por Vladimir N. Vapnik y sus colegas, y publicaron este trabajo en un artículo titulado "Support Vector Method for Function Approximation, Regression Estimation, and Signal Processing"¹ en 1995.

Las SVM se emplean comúnmente en problemas de clasificación. Distinguen entre dos clases encontrando el hiperplano óptimo que maximiza el margen entre los puntos de datos más cercanos de clases opuestas. El número de características en los datos de entrada determina si el hiperplano es una línea en un espacio bidimensional o un plano en un espacio n-dimensional. Dado que se pueden encontrar múltiples hiperplanos para diferenciar clases, la maximización del margen entre puntos permite al algoritmo encontrar la mejor frontera de decisión entre clases. Esto, a su vez, le permite generalizar bien nuevos datos y hacer predicciones de clasificación precisas. Las líneas adyacentes al hiperplano óptimo se conocen como vectores de soporte, ya que estos vectores atraviesan los puntos de datos que determinan el margen máximo.

El algoritmo SVM se emplea ampliamente en el aprendizaje automático ya que puede manejar tareas de clasificación tanto lineales como no lineales. Sin embargo, cuando los datos no son separables linealmente, las funciones del kernel se utilizan para transformar el espacio multidimensional de los datos y permitir la separación lineal. A esta aplicación de las funciones del kernel (o núcleo) se le conoce como el “truco del kernel”, y la elección de funciones del kernel, como núcleos lineales, núcleos polinomiales, núcleos de función de base radial (RBF, sigla en inglés de radial basis function) o núcleos sigmoides, depende de las características de los datos y del caso de uso específico.

Las SVM lineales se emplean con datos separables linealmente. Esto significa que los datos no necesitan sufrir ninguna transformación para separar los datos en diferentes clases. El boundary y los vectores de soporte forman la apariencia de una calle, y el profesor Patrick Winston del MIT utiliza la analogía de "ajustar la calle más ancha posible ^{" 2} para describir este problema de optimización cuadrática. Matemáticamente, este hiperplano de separación se puede representar de la siguiente manera:

wx + b = 0

donde w es el vector de ponderación, x es el vector de entrada y b es el término de sesgo.

Existen dos enfoques para calcular el margen, o la distancia máxima entre clases, que son la clasificación de margen duro y la clasificación de margen blando. Si utilizamos SVM de margen duro, los puntos de datos estarán perfectamente separados fuera de los vectores de soporte, o "fuera de la calle" para continuar con la analogía del profesor Hinton. Esto se representa con la fórmula,

(wx_j + b) y_j ≥ a,

y luego se maximiza el margen, que se representa como: max ɣ= a / ||w||, donde a es el margen proyectado sobre w.

La clasificación de margen suave es más flexible, ya que permite algunos errores de clasificación mediante el uso de variables de holgura (`ξ`). El hiperparámetro C ajusta el margen; un valor C mayor estrecha el margen para una clasificación errónea mínima, mientras que un valor C menor lo amplía, permitiendo más datos clasificados^{erróneamente 3}.

Gran parte de los datos del mundo real no son linealmente separables, y ahí es donde entran en juego las SVM no lineales. Para que los datos sean linealmente separables, se aplican métodos de preprocesamiento a los datos de entrenamiento para transformarlos en un espacio de características de mayor dimensión. Dicho esto, los espacios de mayor dimensión pueden crear más complejidad al aumentar el riesgo de sobreajuste de los datos y convertirse en una carga computacional. El "truco del núcleo" ayuda a reducir parte de esa complejidad, haciendo que el cálculo sea más eficiente, y lo hace sustituyendo los cálculos del producto de punto por una función de núcleo^{equivalente 4}.

Existen varios tipos de kernel diferentes que se pueden aplicar para clasificar datos. Algunas funciones del kernel populares incluyen:

• Kernel polinómico

• Kernel de función de base radial (también conocido como kernel gaussiano o RBF)

• Kernel sigmoide
  

La regression de vector de soporte (SVR) es una extensión de SVM, que se aplica a problemas de regression (es decir, el resultado es continuo). Al igual que las SVM lineales, SVR encuentra un hiperplano con el margen máximo entre los puntos de datos y, por lo general, se utiliza para la predicción de series de tiempo.

La regresión de vectores de soporte (SVR) se diferencia de la regresión lineal en que debe especificar la relación que desea comprender entre las variables independientes y dependientes. Al emplear la regresión lineal, es importante comprender las relaciones entre las variables y sus direcciones. Esto es innecesario para las SVR, ya que determinan estas relaciones por sí solas.

En esta sección, analizaremos el proceso de creación de un clasificador SVM, cómo se compara con otros algoritmos de aprendizaje supervisado y sus aplicaciones dentro de la industria actual.

Al igual que con otros modelos de aprendizaje automático, comience dividiendo sus datos en un conjunto de entrenamiento y un conjunto de prueba. Por otro lado, esto supone que ya realizó un análisis exploratorio de sus datos. Si bien esto no es técnicamente necesario para crear un clasificador SVM, es una buena práctica antes de usar cualquier modelo de aprendizaje automático, ya que esto le permitirá conocer los datos faltantes o los valores atípicos.

Importe un módulo SVM de la biblioteca de su elección, como scikit-learn. Capacite sus muestras de entrenamiento en el clasificador y prediga la respuesta. Puede evaluar el rendimiento comparando la precisión del conjunto de prueba con los valores previstos. Es posible que desee emplear otras métricas de evaluación, como puntaje f1, precisión o recuperación.

Los hiperparámetros se pueden ajustar para mejorar el rendimiento de un modelo SVM. Los hiperparámetros óptimos se pueden encontrar utilizando métodos de búsqueda de cuadrícula y validación cruzada, que iterarán a través de diferentes valores de kernel, regularización (C) y gamma para encontrar la mejor combinación.

Se pueden emplear diferentes clasificadores de aprendizaje automático para el mismo caso de uso. Es importante probar y evaluar diferentes modelos para comprender cuáles funcionan mejor. Dicho esto, puede ser útil comprender las fortalezas y debilidades de cada uno para evaluar su aplicación para su caso de uso.

Tanto las clasificaciones Naive Bayes como SVM se emplean comúnmente para tareas de clasificación de texto. Las SVM tienden a funcionar mejor que Naive Bayes cuando los datos no son separables linealmente. Dicho esto, las SVM tienen que ajustarse a diferentes hiperparámetros y pueden ser más costosas desde el punto de vista computacional.

Las SVM suelen funcionar mejor con conjuntos de datos de alta dimensión y no estructurados, como datos de imágenes y texto, en comparación con regression. Las SVM también son menos sensibles al sobreajuste y más fáciles de interpretar. Dicho esto, pueden ser más costosos desde el punto de vista computacional.

Las SVM funcionan mejor con datos de alta dimensión y son menos propensas al sobreajuste en comparación con los decision trees. Dicho esto, los decision trees suelen ser más rápidos de capacitar, especialmente con conjuntos de datos más pequeños, y generalmente son más fáciles de interpretar.

Al igual que otras comparaciones de modelos, las SVM son más costosas de capacitar computacionalmente y menos propensas al sobreajuste, pero las neural networks se consideran más flexibles y escalables.

Mientras que las SVM se pueden aplicar para una variedad de tareas, estas son algunas de sus aplicaciones más populares en diversas industrias.