Aprenda todo lo que necesita saber sobre el análisis de datos exploratorio, un método que se utiliza para analizar y resumir conjuntos de datos. 

El análisis de datos exploratorio (EDA) lo utilizan los científicos de datos para analizar e investigar conjuntos de datos y resumir sus principales características, empleando a menudo métodos de visualización de datos. Ayuda a determinar la mejor manera de manipular los orígenes de datos para obtener las respuestas que necesita, lo que permite a los científicos de datos descubrir patrones, detectar anomalías, probar una hipótesis o comprobar supuestos.

El EDA se utiliza principalmente para ver qué datos pueden revelarse más allá de la tarea de modelado formal o las pruebas de hipótesis, y permite conocer mejor las variables de conjunto de datos y las relaciones entre ellas. También permite determinar si las técnicas estadísticas que está considerando para el análisis de datos son apropiadas. Las técnicas de EDA, desarrolladas originalmente por el matemático estadounidense John Tukey en los años 70, siguen siendo un método ampliamente utilizado en el proceso de descubrimiento de datos hoy día.

El principal objetivo del EDA es consultar los datos antes de hacer cualquier suposición. Permite identificar errores obvios, así como comprender mejor los patrones en los datos, detectar valores atípicos o sucesos anómalos y encontrar relaciones interesantes entre las variables.

Los científicos de datos pueden utilizar el análisis exploratorio para garantizar que los resultados que generan sean válidos y aplicables a las conclusiones y objetivos de negocio deseados. El EDA también permite confirmar a las partes interesadas que están haciendo las preguntas correctas. El EDA ayuda a responder las preguntas sobre desviaciones estándar, variables categóricas e intervalos de confianza. Una vez que se ha completado el EDA y se ha extraído la información útil, sus características pueden utilizarse para un análisis o modelado de datos más complejo, incluido machine learning.

Las funciones y técnicas estadísticas específicas que pueden realizarse con las herramientas de EDA incluyen:

• Técnicas de agrupación en clúster y reducción de dimensiones, que permiten crear visualizaciones gráficas de datos de grandes dimensiones que contienen muchas variables.
• Visualización univariante de cada campo en el conjunto de datos en bruto, con estadísticas de resumen.
• Visualizaciones bivariantes y estadísticas de resumen que le permiten evaluar la relación entre cada variable del conjunto de datos y la variable de destino que está buscando.
• Visualizaciones multivariantes, para correlacionar y comprender las interacciones entre los diferentes campos en los datos.
• K-means Clustering es un método de agrupación en clúster de aprendizaje no supervisado en el que los puntos de datos se asignan a K grupos, es decir, el número de clústeres, en función de la distancia del centroide de cada grupo. Los puntos de datos más próximos a un determinado centroide se agruparán en la misma categoría. K-means Clustering se utiliza a menudo en la segmentación de mercado, el reconocimiento de patrones y la compresión de imágenes.
• Los modelos predictivos como, por ejemplo, la regresión lineal, utilizan estadísticas y datos para predecir los resultados.

Hay cuatro tipos principales de EDA:

• No gráfico univariante. Es la forma más simple de análisis de datos, donde los datos que se analizan consisten en una sola variable. Como es una sola variable, no se ocupa de las causas o relaciones. El objetivo principal del análisis univariante es describir los datos y encontrar los patrones que existen en ellos.
• Gráfico univariante. Los métodos no gráficos no ofrecen una imagen completa de los datos. Por lo tanto, se requieren métodos gráficos. Los tipos más comunes de gráficos univariantes incluyen:
  • Tramas de tallo y hoja, que muestran todos los valores de datos y la forma de la distribución.
  • Histogramas, un diagrama de barras donde cada barra representa la frecuencia (recuento) o la proporción (recuento/recuento total) de casos para un rango de valores.
  • Diagramas de caja, que representan gráficamente el resumen de cinco números de mínimo, primer cuartil, mediana, tercer cuartil y máximo.
• No gráfico multivariante. Se obtienen datos multivariantes de más de una variable. Las técnicas de EDA no gráfico multivariante generalmente muestran la relación entre dos o más variables de los datos mediante tabulación cruzada o estadísticas.
• Gráfico multivariante. Los datos multivariantes utilizan gráficos para mostrar las relaciones entre dos o más conjuntos de datos. El gráfico más utilizado es un diagrama de barras o gráfico de barras agrupadas, en el que cada grupo representa un nivel de una de las variables y cada barra de un grupo representa los niveles de la otra variable.

Otros tipos comunes de gráficos multivariantes incluyen:

• Trama de dispersión, que se utiliza para trazar puntos de datos en un eje horizontal y uno vertical para mostrar cuánto afecta una variable a otra.
• Gráfico multivariante, que es una representación gráfica de las relaciones entre los factores y una respuesta.
• Diagrama de ejecución, que es un gráfico de líneas de datos trazados a lo largo del tiempo.
• Gráfico de burbujas, que es una visualización de datos que muestra varios círculos (burbujas) en un gráfico bidimensional.
• Mapa de calor, que es una representación gráfica de datos donde los valores se representan por color.

Algunas de las herramientas de ciencia de datos más comunes utilizadas para crear un EDA incluyen:

• Python: un lenguaje de programación interpretado y orientado a objetos con semántica dinámica. Sus estructuras de datos incorporadas de alto nivel, combinadas con la escritura dinámica y el enlace dinámico, hacen que sea muy atractivo para el desarrollo rápido de aplicaciones, así como para su uso como lenguaje de scripts o de unión para conectar los componentes existentes entre sí. Python y EDA se pueden utilizar conjuntamente para identificar los valores que faltan en un conjunto de datos, para que pueda decidir cómo manejarlos en machine learning.
• R: un lenguaje de programación de código abierto y un entorno de software gratuito para la informática estadística y los gráficos soportados por R Foundation for Statistical Computing. El lenguaje R es ampliamente utilizado entre los estadísticos en la ciencia de datos para desarrollar observaciones estadísticas y análisis de datos.

Para obtener información detallada sobre las diferencias entre estos enfoques, consulte “Python frente a R: ¿en qué se diferencian?”