¿Qué es la visualización de datos en el machine learning?

En el machine learning (ML), esto implica mucho más que crear un panel de control o un informe. Implica crear, depurar y mejorar los modelos de ML. Se utiliza para interrogar los datos antes del entrenamiento, monitorizar lo que ocurre durante la formación y diagnosticar qué salió mal o bien tras la evaluación. No se trata tanto de la presentación como de la investigación. 

En la práctica, ambos se superponen. Un buen profesional del machine learning o ciencia de datos utiliza la visualización de datos, por un lado, para detectar problemas y optimizar modelos, y, por otro, para explicar los resultados a los demás y generar confianza en los outputs de los modelos.

La visualización de datos en el machine learning afecta directamente a la calidad de sus modelos, a las decisiones que toma y a la forma en que los demás entienden su trabajo.

• Detecta los problemas de datos a tiempo: antes de crear cualquier modelo, sus datos tienen que estar limpios y ser fiables. El problema es que la mayoría de los problemas de calidad de los datos son invisibles en una hoja de cálculo hasta que se hacen evidentes en un gráfico.
• Muestra relaciones que las estadísticas de resumen pasan por alto: los números como las medias y las correlaciones solo cuentan una parte de la historia. Dos variables pueden tener la misma puntuación de correlación pero comportarse de forma completamente diferente en la realidad. La visualización de datos muestra la forma de las relaciones, no solo su magnitud.
• Ayuda a tomar decisiones sobre la selección de características y la ingeniería de características: decidir qué características conservar, transformar o descartar es una de las partes más importantes y difíciles del machine learning. La visualización hace que estas decisiones sean mucho más fundamentadas.
• Hace visibles los fallos del modelo: un modelo que informa de una precisión del 97 % puede seguir siendo poco fiable y una sola métrica nunca le dirá eso. Las herramientas de visualización eliminan los números de titulares engañosos y revelan exactamente dónde y cómo falla un modelo.
• Ayuda a los equipos no técnicos a tomar decisiones informadas: los ejecutivos, los clientes potenciales de producto y los clientes no van a revisar las tablas de pérdidas ni los informes de métricas detallados. Necesitan algo que puedan interpretar rápidamente. Las buenas visualizaciones convierten el rendimiento del modelo en gráficos claros e intuitivos que las personas pueden entender fácilmente. Por eso los paneles de control y los resúmenes visuales sencillos son importantes.

La visualización abarca todo el flujo de trabajo de ML, desde el momento en que recibe los datos sin procesar hasta la evaluación final de su modelo. Aquí es donde aparece en cada etapa. Las técnicas de visualización mencionadas en cada paso se analizarán en detalle en las secciones posteriores.

Antes de comenzar cualquier análisis, necesita entender con qué está trabajando. Esto implica comprobar si hay valores que faltan, tipos de datos incoherentes y registros duplicados, ya que cualquier problema estructural en los datos en esta fase acabará corrompiendo silenciosamente todo lo que venga después. Los mapas térmicos de valores faltantes, las tablas de distribución de tipos de datos y las gráficas de frecuencias de registro ofrecen una imagen rápida y fiable del estado de los datos antes de invertir tiempo en utilizarlos.

El análisis exploratorio de datos ayuda a entender la estructura, la distribución y las relaciones del conjunto de datos antes de crear cualquier cosa mediante el uso de histogramas, diagramas de dispersión, matrices de correlación, gráficos de cajas y gráficos de pares para mostrar patrones, anomalías y relaciones que los números sin procesar por sí solos no revelan. El EDA es, por naturaleza, un proceso iterativo: visualiza algo, formula una hipótesis, la comprueba y vuelve a visualizarla hasta que comprende de verdad lo que le dicen los datos.

Una vez que comprenda los datos sin procesar, comience a transformar y seleccionar características para el modelo. Visualizar sus datos en este punto le permite comprobar que sus transformaciones están haciendo lo que espera y le ayuda a determinar qué características son realmente útiles. Entender las gráficas de distribución, las tablas de importancia de las características o el comportamiento de las características en los diferentes grupos objetivo convierte el preprocesamiento arbitrario en elecciones que puede justificar claramente.

A medida que el modelo de machine learning se entrena, la visualización deja de consistir en examinar los datos y, en su lugar, se convierte en una forma de rastrear el proceso de aprendizaje del modelo. Los gráficos, como las curvas de aprendizaje o pérdida, revelan si el modelo mejora, se estabiliza o se sobreajusta. Ese feedback le permite afinar los hiperparámetros, ajustar la regularización o cambiar la duración del entrenamiento antes de que se complete el trabajo.

Tras el entrenamiento, la visualización es la forma de ir más allá de un único número de precisión y entender realmente el funcionamiento del modelo. Las matrices de confusión, las curvas ROC, las curvas de recuperación de precisión y los gráficos de residuos revelan cada uno una dimensión diferente del comportamiento del modelo. Desglosan el rendimiento por clase, por umbrales y por rango de valores pronosticados, para que sepa no solo cómo de bien funciona el modelo, sino también dónde tiene éxito y dónde no.

Comprender los tipos de visualización de datos utilizados en el machine learning significa pensar en términos de casos de uso, no solo en nombres de gráficos. Aquí tiene un desglose estructurado del mismo.

Histogramas

Un histograma muestra cómo se distribuye una sola característica numérica. Divide los valores en bandejas del eje x y cuenta el número de puntos de datos que hay en cada bandeja del eje Y. En Python, utilizando herramientas como matplotlib o seaborn, trazar un histograma muestra rápidamente si una característica parece normal, sesgada a la derecha, bimodal o casi uniforme.

Cada patrón sugiere un paso de preprocesamiento diferente. Por ejemplo, podría crear un histograma de los precios de los productos y ver que la mayoría están por debajo de los 50 USD, pero con una larga franja que llega hasta los 500 USD. Ese patrón sugiere que la característica se beneficiaría de una transformación logarítmica antes de utilizarla en un modelo.

Diagramas de dispersión

Los diagramas de dispersión colocan dos variables numéricas en el eje x y y, con cada punto de datos representado como un punto. Son útiles para observar patrones lineales y no lineales, identificar dónde se forman los clústeres y marcar los valores atípicos que se encuentran alejados del resto de los datos. Por ejemplo, trazar el tamaño de la vivienda en función del precio de venta podría mostrar una tendencia alcista clara hasta un umbral de tamaño determinado, tras el cual los precios se estabilizan, un patrón que vale la pena investigar antes de la formación.

Matriz de correlación (mapa térmico)

Una matriz de correlación muestra la correlación por pares entre cada característica numérica de su conjunto de datos. Renderizado como un mapa térmico, en el que el color de las celdas codifica la fuerza de correlación, hace que la multicolinealidad sea visible de un vistazo. Las características con una correlación de 0,95 o superior suelen ser candidatas para su eliminación durante la selección de características, ya que contienen información redundante. 

La correlación solo captura relaciones lineales, por lo que una correlación cercana a cero no significa que dos características sean independientes. Por ejemplo, "total de habitaciones" y "total de dormitorios" en un conjunto de datos de viviendas casi siempre mostrarán una correlación muy alta y mantener ambos no añade información nueva al modelo.

Diagramas de caja

Los diagramas de caja ofrecen un resumen rápido de cómo se distribuye una variable mostrando la mediana, el rango principal de los datos (el rango intercuartílico) y cualquier valor atípico. Son especialmente útiles en el machine learning para comparar cómo una característica numérica difiere entre los grupos objetivo, como ver los ingresos de las personas que incumplieron un préstamo frente a las personas que no lo hicieron.

Gráficos de pares

Los diagramas de par generan una cuadrícula de diagramas de dispersión para cada combinación de características numéricas en el conjunto de datos, con histogramas o diagramas de densidad a lo largo de la diagonal. La función pairplot() de Seaborn genera estos gráficos en una sola línea. Para conjuntos de datos con hasta 10–15 características, los diagramas de pares ofrecen una visión rápida y multivariante que requeriría muchos gráficos individuales para replicarla. 

Las características, en este contexto, simplemente hacen referencia a las columnas individuales de su conjunto de datos, como la edad, los ingresos o la frecuencia de compra. Por ejemplo, un par de gráficos para un conjunto de datos de ventas podría revelar rápidamente que los ingresos y las unidades vendidas se mueven muy juntos, mientras que la tasa de descuento no se relaciona mucho con ninguno de los dos. Perspectivas como esa pueden ayudarle a decidir qué características merecen la pena conservar.

Gráficos de densidad

Los diagramas de densidad son como versiones más suaves de los histogramas. Son útiles para comparar la distribución de una característica en dos grupos. Cuando las curvas están muy separadas, la característica suele tener un fuerte valor predictivo. Pero si se superponen, resulta menos útil.

Por ejemplo, si traza la densidad de la "frecuencia de compra" de los clientes leales frente a los abandonados y las dos líneas forman picos claramente separados, es una buena señal de que la característica ayudará en un modelo de predicción de la pérdida de clientes.

Gráficos de importancia de las características

Puede extraer puntuaciones de importancia de las características después de entrenar un modelo y visualizarlas en un gráfico de barras para ver qué características son más importantes. Los modelos basados en árboles de decisión son un ejemplo común, ya que proporcionan de forma natural estas puntuaciones de importancia. Las características con muy baja importancia suelen ser buenas candidatas para eliminar, y herramientas como Plotly o matplotlib pueden crear fácilmente estos gráficos incluso cuando tiene muchas características. 

Gráficos de comparación de distribuciones

Estos gráficos comparan la distribución de una característica antes y después de una transformación (escalado, codificación, transformación logarítmica) y confirman si el paso de preprocesamiento logró el efecto previsto. Esta comparación es importante porque introducir una característica mal transformada en un modelo puede sesgar las predicciones y un simple gráfico paralelo detectará ese problema antes de que llegue al entrenamiento. 

Curvas de aprendizaje

Una curva de aprendizaje es un tipo de visualización de entrenamiento con modelos que traza el rendimiento del modelo (precisión o pérdida) en el eje Y en función del tamaño del conjunto de entrenamiento o las iteraciones de entrenamiento en el eje X, con líneas separadas para el entrenamiento y la validación.

Esta visualización única diagnostica los dos modos de fallo más comunes del modelo de ML: sobreajuste (gran brecha entre el rendimiento del entrenamiento y la validación) y infraajuste (ambas líneas son bajas y convergen rápidamente). Ajustar la complejidad del modelo, la regularización o el tamaño de los datos de entrenamiento se convierte en un proceso específico en lugar de una mera conjetura una vez que se puede observar la curva de aprendizaje. 

Curvas de pérdidas

Para los modelos de deep learning, trazar la pérdida de entrenamiento y la pérdida de validación a lo largo de las épocas es una práctica estándar. Una pérdida de validación que deja de mejorar o comienza a aumentar mientras la pérdida de entrenamiento continúa disminuyendo es la señal para detener el entrenamiento antes de tiempo. Estos gráficos suelen generarse en tiempo real a través de herramientas como TensorBoard durante el entrenamiento. 

Gráficos de líneas

De forma más amplia, los gráficos de líneas que siguen cualquier métrica (precisión, puntuación F1, área bajo la curva) durante iteraciones de entrenamiento ofrecen una imagen continua de cómo evoluciona el modelo. Son más informativos que una única métrica de fin de formación porque muestran la trayectoria, no solo el destino. 

Matriz de confusión

Una matriz de confusión es un tipo de visualización de evaluación de modelos que muestra todas las combinaciones de etiquetas de clase reales y previstas en una cuadrícula, verdaderos positivos, verdaderos negativos, falsos positivos y falsos negativos, para que pueda ver exactamente dónde su modelo es correcto y dónde está mal. 

Es la base de la mayoría de las métricas de clasificación; la precisión, la memoria y la puntuación F1 se derivan de ella. Representado como un mapa de calor con anotaciones que muestran recuentos o porcentajes, hace que los fallos a nivel de clase sean inmediatamente legibles. Un modelo que "se ve bien" en precisión pero tiene una fila vacía para una clase crítica mostrará este fallo inmediatamente en la matriz de confusión. 

Curvas ROC (característica operativa del receptor)

Las curvas ROC trazan la tasa de verdaderos positivos frente a la tasa de falsos positivos en cada umbral de clasificación posible, de 0 a 1. El área bajo la curva (AUC) resume la capacidad general de discriminación del modelo en un solo número: 0,5 es una conjetura aleatoria, 1,0 es perfecto. Las curvas ROC son especialmente útiles cuando se comparan varios modelos o cuando el coste de los falsos positivos y los falsos negativos es diferente. Herramientas como scikit-learn y plotly tienen soporte incorporado para generarlos. 

Curvas de recuerdo de precisión

Cuando su conjunto de datos está muy desequilibrado, las curvas de recuperación de precisión le ofrecen una imagen mucho más honesta del rendimiento del modelo que las curvas ROC. Un clasificador potente empuja hacia la parte superior derecha del gráfico, manteniendo una alta precisión sin sacrificar la memoria. Traza la precisión en el eje Y comparándola con la recuperación en el eje x en varios umbrales de decisión.

En campos de alto riesgo como el diagnóstico médico o la detección del fraude, donde no detectar el caso raro es mucho más perjudicial que una falsa alarma, esta curva suele decir más que cualquier otro método. 

Parcelas residuales

Para los modelos de regresión, un gráfico de residuos muestra la diferencia entre los valores pronosticados y reales (el residuo) en el eje Y y el valor previsto en el eje X. Los residuos deberían dispersarse aleatoriamente alrededor de cero sin un patrón discernible. Si los residuos se abren en abanico, se curvan sistemáticamente o se clúster, el modelo tiene un problema estructural, no está capturando algún aspecto de la relación en los datos. 

Matplotlib es la base de código abierto en la que se basa todo lo demás. Su módulo “pyplot” (importado como “plt”) maneja toda la gama de gráficos estándar, histogramas, diagramas de dispersión, gráficos de líneas, gráficos de barras y más. Es detallado en comparación con las bibliotecas más nuevas, pero esa verbosidad le brinda un control preciso sobre cada detalle: anotaciones, etiquetas de ejes, diseño de figuras y tamaño.

Seaborn se basa en matplotlib y reduce significativamente el código repetitivo. Un mapa de calor, un diagrama de pares o un diagrama de caja que tomaría 15 líneas en matplotlib toma una o dos en seaborn. Lee directamente desde pandas DataFrames, lo que lo convierte en la opción preferida para EDA en entornos Jupyter Notebook. 

Plotly es la opción ideal cuando necesita que el output sea interactivo. Los gráficos se renderizan en HTML, permitiendo a los espectadores pasar el cursor sobre los datos, acercarse y alternar series, lo que los hace mucho más útiles que las imágenes estáticas al presentar resultados a los stakeholders mediante paneles de control o informes web.

NumPy no es una herramienta de visualización en sí, pero es la columna vertebral de casi todos los flujos de trabajo de visualización que gestionan la manipulación de arrays y la preparación de datos en los ejes x/y de los que dependen matplotlib y seaborn. 

Yellowbrick está diseñado específicamente para la evaluación del ML. Envuelve scikit-learn y genera matrices de confusión, curvas ROC, curvas de aprendizaje y gráficos de importancia de características con una sola llamada a una función, evitando así la configuración manual que requiere matplotlib.

TensorBoard se encarga del deep learning. Transmite métricas de entrenamiento en tiempo real, curvas de pérdida y gráficos de modelos durante el entrenamiento, necesarios para monitorizar grandes conjuntos de datos y trabajos de redes neuronales de larga duración. 

Una visualización de datos no consiste solo en elegir el gráfico correcto, sino en evitar los patrones que engañan silenciosamente.

• Visualizar el conjunto de pruebas durante el EDA: incluso explorar casualmente las distribuciones del conjunto de pruebas antes del entrenamiento es suficiente para filtrar información en sus decisiones de preprocesamiento. El EDA pertenece exclusivamente al conjunto de entrenamiento, después de que se haya realizado la división.
• Confiar en un único número de precisión: la precisión de los titulares es una de las métricas más engañosas del ML, especialmente en los conjuntos de datos desequilibrados. Un modelo puede obtener una precisión del 95 % y fallar por completo en la clase que realmente importa. Acompáñelo siempre con una matriz de confusión que desglose el rendimiento por clase.
• Uso del gráfico incorrecto para el tipo de datos: los gráficos circulares pierden su eficacia cuando hay más de unas pocas categorías. Los gráficos de líneas implican continuidad, lo que los hace poco adecuados para las comparaciones categóricas. Los mapas térmicos de correlación están diseñados para variables numéricas, ejecutarlos con datos categóricos de alta cardinalidad produce ruido, no perspectivas. La elección del gráfico debe seguir la naturaleza de los datos, no las preferencias personales.
• Confundir la correlación con la causalidad: una alta correlación entre dos características indica que se mueven juntas. Eso no significa que una determine a la otra, y desde luego tampoco significa que ninguna de las dos determine la variable objetivo. Trate la matriz de correlaciones como un punto de partida para la investigación, no como una conclusión.
• Confiar demasiado en la importancia de las características de un modelo: las puntuaciones de importancia de las características reflejan la utilidad de una característica dentro de un algoritmo específico. Una característica que ocupa un lugar cerca del fondo en un bosque aleatorio podría ser una de las entradas más valiosas en una regresión logística. Utilice estos gráficos como una entrada, no como un veredicto final sobre la selección de características.
• Omisión de gráficos residuales para modelos de regresión: los gráficos residuales le indican si los errores siguen un patrón, lo que significa que al modelo le falta algo estructural. Las curvas o formas de abanico sistemáticas en una gráfica de residuos son invisibles en las métricas agregadas, pero obvias en una gráfica de residuos.
• Abandonar la visualización en grandes conjuntos de datos: la sobrerrepresentación es un verdadero problema, pero la respuesta no es dejar de visualizar, sino cambiar de técnica. Los gráficos de densidad o una muestra aleatoria bien elegida le darán la misma claridad analítica sin el diagrama de dispersión ilegible.

La visualización de datos en el machine learning no es un paso final, sino que abarca cada fase de un proyecto. Así es como los científicos de datos diagnostican problemas que no podían ver en una tabla, detectan los fallos de los modelos que ocultan las métricas, comunican los hallazgos a los stakeholders y toman decisiones seguras basadas en datos en cada etapa del flujo de trabajo. 

Adquirir el hábito de visualizar de forma deliberada en cada etapa es una de las cosas más sencillas y eficaces que puede hacer para mejorar tanto la calidad de sus modelos como la claridad de su pensamiento.