¿Qué es un conjunto de datos?

Hoy en día, las organizaciones recopilan grandes cantidades de datos de diversas fuentes, incluidas las interacciones con los clientes, las transacciones financieras, los dispositivos IoT y las plataformas de redes sociales.

Para desbloquear el valor empresarial de todos estos datos, a menudo deben organizarse en conjuntos de datos: colecciones organizadas que hacen que la información sea accesible para su análisis y aplicación.

Los diferentes tipos de conjuntos de datos almacenan datos de varias maneras. Por ejemplo, los conjuntos de datos estructurados suelen organizar los puntos de datos en tablas con filas y columnas definidas. Los conjuntos de datos no estructurados pueden contener formatos variados, como archivos de texto, imágenes y audio.

Aunque no todos los conjuntos de datos implican datos estructurados, siempre tienen alguna estructura general, ya sean esquemas definidos o sintaxis poco organizada en formatos de datos semiestructurados como JSON o XML.

Algunos ejemplos de conjuntos de datos incluyen:

• Conjuntos de datos del servicio de atención al cliente que rastrean las interacciones y resoluciones de soporte
• Conjuntos de datos de fabricación que monitorizan las métricas de rendimiento de los equipos.
• Conjuntos de datos de ventas que analizan los patrones de transacción y el comportamiento del consumidor.
• Conjuntos de datos de marketing que miden la eficacia y el compromiso de las campañas.

Las organizaciones suelen utilizar y mantener varios conjuntos de datos para apoyar diversas iniciativas empresariales, incluidos el análisis de datos y la inteligencia empresarial (BI).

El big data, en particular, se basa en conjuntos de datos masivos y complejos para ofrecer valor. Cuando se recopilan, gestionan y analizan correctamente mediante el análisis de macrodatos, estos conjuntos de datos pueden ayudar a descubrir nueva información y permitir la toma de decisiones basada en los datos.

En los últimos años, el auge de la inteligencia artificial (IA) y el machine learning han aumentado aún más la atención prestada a los conjuntos de datos. Las organizaciones necesitan datos de entrenamiento amplios y bien organizados para desarrollar modelos precisos de machine learning y perfeccionar los algoritmos predictivos.

Según Gartner, el 61 % de las organizaciones afirman tener que evolucionar o replantearse su modelo operativo de datos y análisis debido al impacto de las tecnologías de IA¹

Aunque el término "conjunto de datos" suele utilizarse en sentido amplio, ciertas cualidades determinan si una colección de datos constituye un conjunto de datos. En general, los conjuntos de datos tienen tres características fundamentales: variables, esquemas y metadatos.

• Las variables representan los atributos o características específicos que se estudian dentro del conjunto de datos. Por ejemplo, en un conjunto de datos de ventas, las variables pueden incluir el ID del producto, el precio y la fecha de compra. Las variables suelen servir como entradas para algoritmos de machine learning y análisis estadísticos.

• Los esquemas definen la estructura de un conjunto de datos, incluidas las relaciones y la sintaxis entre sus variables. Por ejemplo, el esquema de un conjunto de datos tabular podría describir los formatos del conjunto de datos y los encabezados de columna, como "fecha", "cantidad" y "categoría". Un esquema JSON podría describir estructuras de datos anidadas, como perfiles de clientes con atributos como "nombre", "correo electrónico" y una matriz de objetos "historial de pedidos".

• Los metadatos o datos sobre datos proporcionan un contexto esencial sobre el conjunto de datos, incluidos detalles sobre su origen, finalidad y directrices de uso. Esta información ayuda a garantizar que los conjuntos de datos sigan siendo interpretables y se integren eficazmente con otros sistemas.

No todas las colecciones de datos pueden considerarse conjuntos de datos. Las acumulaciones aleatorias de puntos de datos sin relación entre sí no suelen constituir un conjunto de datos sin una cierta organización y estructura adecuadas que permitan un análisis significativo.

Del mismo modo, aunque las interfaces de programación de aplicaciones (API), las bases de datos y las hojas de cálculo pueden interactuar con conjuntos de datos o contenerlos, no son necesariamente conjuntos de datos en sí mismos.

Las API permiten que las aplicaciones se comuniquen entre sí, lo que a veces implica acceder e intercambiar conjuntos de datos. Las bases de datos y las hojas de cálculo son contenedores de información, que pueden incluir conjuntos de datos.

Las organizaciones generalmente trabajan con tres tipos principales de conjuntos de datos, generalmente clasificados según el tipo de datos que manejan:

• Conjuntos de datos estructurados
• Conjuntos de datos no estructurados
• Conjuntos de datos semiestructurados

Las organizaciones a menudo utilizan múltiples tipos de conjuntos de datos en combinación para respaldar estrategias de análisis de datos integrales. Por ejemplo, una empresa de venta al por menor puede analizar datos de ventas estructurados junto con opiniones de clientes no estructuradas y análisis web semiestructurados para conocer mejor el comportamiento y las preferencias de los clientes.

Los conjuntos de datos estructurados organizan la información en formatos predefinidos, normalmente tablas con filas y columnas claramente definidas. Estos conjuntos de datos son la base de muchos procesos empresariales críticos, como la gestión de la relación con el cliente (CRM) y la gestión del inventario.

Como los conjuntos de datos estructurados siguen esquemas coherentes, permiten realizar consultas rápidas y un análisis fiable. Esto los hace ideales para las herramientas de inteligencia empresarial y los sistemas de informes que requieren datos precisos y cuantificables.

Algunos ejemplos comunes de conjuntos de datos estructurados son:

• Registros financieros organizados en hojas de cálculo Excel con campos definidos para fechas, importes y categorías.
• Bases de datos de clientes con formatos estandarizados para información de contacto e historial de compras.
• Sistemas de inventario que rastrean cantidades, ubicaciones y movimientos de productos.
• Flujos de datos de sensores que proporcionan métricas uniformes para la monitorización de equipos y el mantenimiento predictivo.

Los conjuntos de datos no estructurados contienen información que no se ajusta a los modelos de datos tradicionales ni a los esquemas rígidos. Aunque estos conjuntos de datos requieren herramientas de procesamiento más sofisticadas, a menudo contienen conocimientos que los formatos de datos estructurados no pueden capturar.

Las organizaciones se basan en conjuntos de datos no estructurados para impulsar los modelos de inteligencia artificial y machine learning. Estos conjuntos de datos proporcionan los diversos datos del mundo real necesarios para entrenar modelos de IA y desarrollar capacidades de análisis más avanzadas.

Algunos ejemplos comunes de conjuntos de datos no estructurados son:

• Documentos de texto, como correos electrónicos, informes y páginas web.
• Imágenes y vídeos utilizados para entrenar modelos de machine learning.
• Grabaciones de audio de aplicaciones del mundo real.
• Registros de chat y transcripciones del servicio de atención al cliente.

Los conjuntos de datos semiestructurados tienden un puente entre los datos estructurados y los no estructurados. Aunque no siguen esquemas rígidos, incorporan sintaxis definida o marcadores para ayudar a organizar la información en formatos flexibles pero analizables.

Este enfoque híbrido hace que los conjuntos de datos semiestructurados sean valiosos para los proyectos y aplicaciones modernos de integración de datos que necesitan manejar diversos tipos de datos manteniendo una cierta estructura organizativa.

Algunos ejemplos comunes de conjuntos de datos semiestructurados son: 

• Archivos JSON, HTML y XML utilizados en aplicaciones web y API.
• Archivos de registro que contienen tanto campos formateados como texto de formato libre.
• Conjuntos de datos públicos que combinan múltiples formatos de datos para una mayor accesibilidad.

Las organizaciones recopilan datos de múltiples fuentes para crear conjuntos de datos que respalden diversas iniciativas empresariales. Las fuentes de datos pueden determinar directamente tanto la calidad como la utilidad de los conjuntos de datos.

Algunas fuentes de datos comunes incluyen:

• Repositorios de datos
• Bases de datos
• Interfaces de programación de aplicaciones (API)
• Plataformas de datos públicos

Los repositorios de datos son almacenes centralizados de datos. Los repositorios de datos propietarios suelen albergar datos sensibles o críticos para la empresa, como registros de clientes, transacciones financieras o métricas operativas que proporcionan ventajas competitivas.

Otros repositorios de datos están disponibles públicamente. Por ejemplo, una plataforma como GitHub aloja conjuntos de datos de código abierto junto con el código. Los investigadores y las organizaciones pueden utilizar estos conjuntos de datos públicos para colaborar abiertamente en modelos de machine learning y proyectos de ciencia de datos.

Las bases de datos son repositorios de datos digitales optimizados para almacenar de forma segura y recuperar fácilmente los datos según sea necesario.

Una base de datos puede contener un único conjunto de datos o varios conjuntos de datos. Los usuarios pueden extraer rápidamente puntos de datos relevantes ejecutando consultas de bases de datos que utilizan lenguajes especializados como el lenguaje de consulta estructurado (SQL).

Las API conectan aplicaciones de software para que puedan comunicarse. Los consumidores de datos pueden utilizar las API para capturar datos en tiempo real de fuentes conectadas, como servicios web y plataformas digitales, y canalizarlos a otras aplicaciones y repositorios para su uso.

Los científicos de datos suelen crear canalizaciones automatizadas de recopilación de datos utilizando lenguajes como Python, que ofrece bibliotecas sólidas para la integración de API y el proceso de datos. Por ejemplo, un sistema de análisis minorista podría utilizar estas canalizaciones automatizadas para recopilar continuamente datos de compra de clientes y niveles de inventario de tiendas de comercio electrónico y sistemas de gestión de inventario.

Sitios como Data.gov e iniciativas de datos abiertos a nivel de ciudad como New York City Open Data brindan acceso gratuito a conjuntos de datos que incluyen métricas de salud, transporte y medio ambiente. Los investigadores pueden utilizar estos conjuntos de datos para estudiar desde pautas de transporte hasta tendencias de salud pública.

Desde la potenciación de la inteligencia artificial hasta la habilitación de conocimientos basados en datos, los conjuntos de datos son fundamentales para varias iniciativas empresariales y tecnológicas clave.

Algunas de las aplicaciones más comunes de los conjuntos de datos incluyen:

• Inteligencia artificial (IA) y machine learning (ML)
• Análisis de datos y conocimientos
• Inteligencia empresarial (BI)

La inteligencia artificial (IA) tiene el potencial de ser un diferenciador crítico para muchas organizaciones.

Según el IBM Institute for Business Value, el 72 % de los CEO con mejor rendimiento creen que su ventaja competitiva depende de tener la IA generativa (IA gen) más avanzada. Estos sistemas de IA de vanguardia se basan en vastos conjuntos de datos, tanto etiquetados como no etiquetados, para entrenar modelos de manera efectiva.

Con datos de entrenamiento completos, las organizaciones pueden desarrollar sistemas de IA que realicen tareas complejas como:

• Procesamiento del lenguaje natural (PLN): los modelos de PLN se basan en conjuntos de datos ingleses y multilingües para comprender el lenguaje humano y potenciar aplicaciones como modelos de lenguaje de gran tamaño (LLM), chatbots, servicios de traducción y herramientas de análisis de texto. Por ejemplo, un chatbot de atención al cliente puede utilizar PLN para analizar conjuntos de datos de conversaciones de soporte anteriores para aprender a responder a preguntas comunes.

• Visión artificial: al utilizar conjuntos de datos de imágenes etiquetadas, la IA puede aprender a reconocer objetos, caras y patrones visuales. La visión artificial ayuda a impulsar la innovación en vehículos autónomos, análisis de imágenes médicas y mucho más. Por ejemplo, los sistemas de IA en sanidad pueden analizar conjuntos de datos de escáneres médicos para detectar signos precoces de enfermedad con gran precisión.

• Análisis predictivo: el análisis predictivo se basa en conjuntos de datos estructurados para entrenar modelos con el fin de pronosticar resultados del mundo real, como los precios de la vivienda y la demanda de los consumidores. Estos modelos de regresión analizan patrones de datos históricos para hacer predicciones precisas, como analizar años de datos de ventas para predecir la demanda estacional y optimizar los niveles de inventario.

• Investigación: los sistemas de IA pueden procesar grandes conjuntos de datos de investigación para descubrir nuevos conocimientos y acelerar la innovación. Por ejemplo, las empresas farmacéuticas pueden utilizar la IA para analizar conjuntos de datos moleculares e identificar nuevos candidatos a fármacos prometedores con mayor rapidez que los métodos tradicionales.

Los científicos de datos y analistas utilizan conjuntos de datos para extraer conocimientos valiosos e impulsar el descubrimiento en todas las disciplinas. A medida que las organizaciones recopilan más datos que nunca, el análisis de datos se ha vuelto crucial para probar hipótesis, identificar tendencias y descubrir relaciones que informen las decisiones estratégicas.

Algunas formas comunes en que los conjuntos de datos ayudan al análisis de datos incluyen:

• Reconocimiento de patrones: el análisis avanzado de grandes conjuntos de datos puede revelar tendencias ocultas, correlaciones y anomalías que las organizaciones pueden utilizar para identificar oportunidades y mitigar riesgos. Por ejemplo, las empresas de venta minorista podrían descubrir las tendencias de compra durante las temporadas de vacaciones analizando los datos de las transacciones.

• Visualización de datos: las herramientas de visualización transforman conjuntos de datos complejos en información clara y procesable mediante el uso de cuadros, gráficos y paneles de control para hacer que los datos sean más accesibles. Por ejemplo, una empresa podría utilizar paneles de control interactivos para mostrar tendencias en ventas e ingresos, lo que ayuda a los ejecutivos a comprender rápidamente las métricas de rendimiento y tomar decisiones informadas.

• Análisis estadístico: al utilizar métodos estadísticos rigurosos, los científicos de datos pueden transformar conjuntos de datos brutos en conocimientos cuantificables que ayuden a medir la importancia y validar los hallazgos. Por ejemplo, los analistas financieros podrían calcular métricas clave a partir de conjuntos de datos para evaluar el rendimiento del mercado.

• Pruebas de hipótesis: los científicos de datos pueden utilizar conjuntos de datos experimentales para validar las teorías y evaluar las posibles soluciones, lo que proporciona un apoyo basado en la evidencia a las decisiones empresariales y de investigación. Por ejemplo, una empresa farmacéutica podría analizar los conjuntos de datos de los ensayos clínicos para determinar la eficacia de un nuevo fármaco.

Las organizaciones utilizan la inteligencia empresarial para descubrir conocimientos en conjuntos de datos e impulsar la toma de decisiones en tiempo real.

Las herramientas de BI pueden ayudar a analizar varios tipos de datos para identificar tendencias, monitorear el rendimiento y descubrir nuevas oportunidades. Algunas aplicaciones incluyen:

• Monitorización en tiempo real: con conjuntos de datos de métricas e indicadores clave de rendimiento (KPI), las organizaciones pueden obtener una visibilidad continua de la eficiencia operativa y el rendimiento del sistema. Por ejemplo, las empresas de logística utilizan la monitorización en tiempo real durante las temporadas altas de vacaciones para rastrear los tiempos de entrega y rápidamente dirección los retrasos.

• Análisis del comportamiento del cliente: los conjuntos de datos de transacciones y compromiso pueden ayudar a revelar patrones de compra y preferencias de los clientes. Las organizaciones pueden utilizar estos conocimientos para desarrollar estrategias específicas y mejorar la experiencia del cliente en todos los puntos de contacto.

• Análisis de series temporales: con la ayuda de conjuntos de datos secuenciales e históricos, las organizaciones pueden realizar un mejor seguimiento de las tendencias y patrones de rendimiento a lo largo del tiempo. Por ejemplo, los proveedores de energía analizan datos de series temporales para predecir y prepararse para la demanda máxima de electricidad, mejorando la fiabilidad de la red y el servicio de atención al cliente.

• Optimización de la cadena de suministro: los conjuntos de datos integrados pueden ayudar a las organizaciones a optimizar la logística y la gestión de los proveedores. Por ejemplo, los minoristas pueden analizar los niveles de inventario, los datos de envío y las métricas de rendimiento de los proveedores para optimizar los programas de reabastecimiento y reducir los costes de transporte.

Gestionar conjuntos de datos grandes y complejos para cualquier iniciativa puede introducir varios desafíos y consideraciones. Algunos de los más sobresalientes incluyen:

• Calidad de los datos: mantener la integridad y la calidad de los datos en los conjuntos de datos es fundamental. De lo contrario, los datos incompletos o inexactos pueden dar lugar a resultados engañosos. Por ejemplo, un nuevo conjunto de datos con formatos incoherentes en todas las columnas puede interrumpir los flujos de trabajo y sesgar el análisis. Las técnicas de validación, como la estandarización de formatos y la eliminación de duplicados, pueden ayudar a garantizar la precisión y la coherencia a medida que se amplían los conjuntos de datos.

• Interoperabilidad e integración de datos: la integración de conjuntos de datos de diferentes fuentes o formatos puede presentar desafíos, como fusionar archivos CSV con datos JSON. La creación de un esquema unificado o la estandarización de formatos de datos puede ayudar a dirección estos desafíos y alinear las estructuras de datos para ayudar a garantizar la compatibilidad del sistema.

• Ética y sesgo: los conjuntos de datos que contienen información de identificación personal (PII) o datos sesgados plantean problemas éticos y de privacidad. Por ejemplo, los modelos de IA que se basan en conjuntos de datos sesgados pueden provocar resultados discriminatorios, como prácticas de contratación injustas. Evaluar los datos de entrenamiento para detectar sesgos e implementar medidas de privacidad, como la anonimización de los datos, puede ayudar a mitigar los posibles problemas.

• Gestión de conjuntos de datos: los crecientes volúmenes de datos y la expansión de los casos de uso hacen que la gestión de conjuntos de datos sea cada vez más compleja. Priorizar procesos sólidos para la creación, el mantenimiento y el gobierno de conjuntos de datos puede ayudar a garantizar la calidad y la accesibilidad de los datos, al mismo tiempo que se mantiene el cumplimiento de las leyes y normativas de protección de datos, como el Reglamento General de Protección de Datos (RGPD) y la California Consumer Privacy Act (CCPA).