La ciencia de datos combina las matemáticas y la estadística, la programación especializada, los analytics avanzados, la inteligencia artificial (IA) y el aprendizaje automático con conocimientos específicos en la materia para descubrir insights procesables ocultos en los datos de una organización. Estos insights pueden utilizarse para orientar la toma de decisiones y la planificación estratégica.
La aceleración del volumen de fuentes de datos, y por consiguiente de los datos, ha hecho que la ciencia de datos sea uno de los campos de más rápido crecimiento en cada industria. Como resultado, no es de extrañar que el papel del científico de datos haya sido apodado el "trabajo más sexy del siglo XXI" por Harvard Business Review (enlace externo a ibm.com). Las organizaciones dependen cada vez más de ellos para interpretar los datos y ofrecer recomendaciones prácticas que mejoren los resultados empresariales.
El ciclo de vida de la ciencia de datos implica varios roles, herramientas y procesos, que permiten a los analistas obtener insights procesables. Normalmente, un proyecto de ciencia de datos pasa por las siguientes etapas:
- Ingesta de datos: el ciclo de vida comienza con la recopilación de datos, tanto estructurados en bruto como no estructurados, de todas las fuentes pertinentes utilizando diversos métodos. Estos métodos pueden incluir la introducción manual de datos, la extracción de datos de la web y la transmisión de datos en tiempo real desde sistemas y dispositivos. Las fuentes de datos pueden incluir datos estructurados, como datos de clientes, junto con datos no estructurados como archivos de registro, video, audio, imágenes, Internet de las cosas (IoT), redes sociales, etc.
- Almacenamiento de datos y procesamiento de datos: dado que los datos pueden tener formatos y estructuras diferentes, las empresas deben considerar distintos sistemas de almacenamiento en función del tipo de datos que sea necesario capturar. Los equipos de administración de datos ayudan a establecer normas en torno al almacenamiento y la estructura de los datos, lo que facilita los flujos de trabajo en torno a los modelos de analytics, aprendizaje automático y aprendizaje profundo. Esta etapa incluye la limpieza de datos, la deduplicación, la transformación y la combinación de los datos mediante trabajos ETL (extracción, transformación, carga) u otras tecnologías de integración de datos. Esta preparación de datos es esencial para promover la calidad de los datos antes de cargarlos en un almacén de datos, data lake u otro repositorio.
- Análisis de datos: en este caso, los científicos de datos realizan un análisis exploratorio de los datos para examinar sesgos, patrones, rangos y distribuciones de valores dentro de los datos. Esta exploración de analytics de datos impulsa la generación de hipótesis para las pruebas a/b. También permite a los analistas determinar la relevancia de los datos para su uso dentro de los esfuerzos de modelado para los analytics predictivos, el aprendizaje automático y/o el aprendizaje profundo. Dependiendo de la precisión de un modelo, las organizaciones pueden llegar a depender de estos insights para la toma de decisiones empresariales, lo que les permite impulsar una mayor escalabilidad.
- Comunicar: por último, los insights se presentan como informes y otras visualizaciones de datos que facilitan su comprensión por parte de los analistas empresariales y otros responsables de la toma de decisiones. Un lenguaje de programación de ciencia de datos como R o Python incluye componentes para generar visualizaciones; alternativamente, los científicos de datos pueden utilizar herramientas de visualización dedicadas.
Utilice este libro electrónico para alinearse con otros líderes en los 3 objetivos clave de MLOps y la IA confiable: confianza en los datos, confianza en los modelos y confianza en los procesos.
Regístrese para obtener el libro electrónico sobre IA generativa
La ciencia de datos se considera una disciplina, mientras que los científicos de datos son los profesionales dentro de ese campo. Los científicos de datos no son necesariamente responsables directos de todos los procesos implicados en el ciclo de vida de la ciencia de datos. Por ejemplo, los ingenieros de datos suelen encargarse de las canalizaciones de datos, pero el científico de datos puede hacer recomendaciones sobre qué tipo de datos son útiles o necesarios. Aunque los científicos de datos pueden crear modelos de aprendizaje automático, la ampliación de estos esfuerzos a un nivel mayor requiere más skills de ingeniería de software para optimizar un programa de modo que se ejecute más rápidamente. Como resultado, es habitual que un científico de datos se asocie con ingenieros de aprendizaje automático para escalar los modelos de aprendizaje automático.
Las responsabilidades de los científicos de datos suelen solaparse con las de los analistas de datos, sobre todo en lo que respecta al análisis exploratorio y la visualización de datos. Sin embargo, las competencias de un científico de datos suelen ser más amplias que las del analista de datos promedio. Comparativamente, los científicos de datos aprovechan lenguajes de programación comunes, como R y Python, para realizar más inferencia estadística y visualización de datos.
Para realizar estas tareas, los científicos de datos requieren skills informáticos y de ciencias puras que van más allá de los de un analista de negocio o un analista de datos típico. El científico de datos también debe comprender las particularidades de la empresa, como la fabricación de automóviles, el comercio electrónico o la atención médica.
En resumen, un científico de datos debe ser capaz de:
- Conocer la empresa lo suficiente como para hacer las preguntas pertinentes e identificar los puntos débiles.
- Aplicar la estadística y la informática, junto con la perspicacia empresarial, al análisis de datos.
- Utilizar una amplia gama de herramientas y técnicas para preparar y extraer datos: desde bases de datos y SQL hasta minería de datos y métodos de integración de datos.
- Extraer insights de big data mediante analytics predictivos e inteligencia artificial (IA), incluidos modelos de aprendizaje automático, procesamiento de lenguaje natural y aprendizaje profundo.
- Escribir programas que automaticen el procesamiento de datos y los cálculos.
- Contar e ilustrar historias que transmitan claramente el significado de los resultados a los responsables de la toma de decisiones y a los stakeholders en todos los niveles de comprensión técnica.
- Explicar cómo pueden utilizarse los resultados para resolver problemas empresariales.
- Colaborar con otros miembros del equipo de ciencia de datos, como analistas de datos y de negocio, arquitectos de TI, ingenieros de datos y desarrolladores de aplicaciones.
Estos skills tienen una gran demanda y, como resultado, muchas personas que se inician en una carrera de ciencia de datos exploran una variedad de programas de ciencia de datos, como programas de certificación, cursos de ciencia de datos y programas de grado ofrecidos por instituciones educativas.
El nuevo estudio empresarial que aúna el aprendizaje automático tradicional a las nuevas capacidades de IA generativa impulsadas por modelos fundacionales.
watsonx Studio
IBM Cloud Pak para datos
Puede ser fácil confundir los términos "ciencia de datos" y "business intelligence" (BI) porque ambos se refieren a los datos de una organización y al análisis de esos datos, pero difieren en su enfoque.
Business Intelligence (BI) suele ser un término genérico que engloba la tecnología que permite la preparación, la minería, la administración y la visualización de datos. Las herramientas y procesos de business intelligence permiten a los usuarios finales identificar información procesable a partir de datos sin procesar, facilitando la toma de decisiones basada en datos dentro de organizaciones de diversas industrias. Aunque las herramientas de ciencia de datos coinciden en gran parte de este aspecto, el business intelligence se centra más en los datos del pasado, y los insights de las herramientas de BI son de naturaleza más descriptiva. Utiliza los datos para comprender lo que ha sucedido antes e informar sobre una línea de actuación. El BI está orientado a datos estáticos (inmutables) que suelen estar estructurados. Aunque la ciencia de datos utiliza datos descriptivos, suele emplearlos para determinar variables predictivas, que luego se utilizan para categorizar datos o hacer previsiones.
La ciencia de datos y el BI no son mutuamente excluyentes: las organizaciones digitalmente inteligentes utilizan ambos para comprender plenamente y extraer valor de sus datos.
Los científicos de datos se basan en lenguajes de programación populares para realizar análisis exploratorios de datos y regresión estadística. Estas herramientas de código abierto admiten capacidades predefinidas de modelado estadístico, aprendizaje automático y gráficos. Entre estos lenguajes se incluyen los siguientes (lea más en "Python frente a R: ¿cuál es la diferencia?"):
- R Studio: lenguaje de programación y entorno de código abierto para el desarrollo de gráficos e informática estadística.
- Python: lenguaje de programación dinámico y flexible. Python incluye numerosas bibliotecas, como NumPy, Pandas o Matplotlib, para analizar datos rápidamente.
Para facilitar el intercambio de código y otra información, los científicos de datos pueden utilizar GitHub y Jupyter Notebook.
Algunos científicos de datos pueden preferir una interfaz de usuario, y dos herramientas empresariales comunes para el análisis estadístico incluyen:
- SAS: una suite de herramientas integral, incluidas visualizaciones y paneles interactivos, para el análisis, la elaboración de informes, la minería de datos y la creación de modelos predictivos.
- IBM SPSS: ofrece análisis estadísticos avanzados, una amplia biblioteca de algoritmos de aprendizaje automático, análisis de texto, extensibilidad de código abierto, integración con big data y despliegue fluido en aplicaciones.
Los científicos de datos también adquieren destreza en el uso de plataformas de procesamiento de big data, como Apache Spark, el marco de código abierto Apache Hadoop y las bases de datos NoSQL. También dominan una amplia gama de herramientas de visualización de datos, como las sencillas herramientas gráficas incluidas en las aplicaciones empresariales de presentación y hojas de cálculo (como Microsoft Excel), herramientas comerciales de visualización creadas a medida como Tableau e IBM Cognos, y herramientas de código abierto como D3.js (una biblioteca de JavaScript para crear visualizaciones de datos interactivas) y RAW Graphs. Para crear modelos de aprendizaje automático, los científicos de datos suelen recurrir a varios marcos como PyTorch, TensorFlow, MXNet y Spark MLib.
Dada la pronunciada curva de aprendizaje de la ciencia de datos, muchas empresas buscan acelerar el retorno de la inversión en proyectos de IA; a menudo tienen dificultades para contratar el talento necesario para aprovechar todo el potencial de los proyectos de ciencia de datos. Para subsanar esta carencia, están recurriendo a plataformas multipersona de ciencia de datos y aprendizaje automático (DSML), dando lugar al papel de "científico de datos ciudadano".
Las plataformas multipersona DSML utilizan la automatización, los portales de autoservicio y las interfaces de usuario de código bajo/sin código para que las personas con poca o ninguna experiencia en tecnología digital o expertos en ciencia de datos puedan crear valor empresarial utilizando la ciencia de datos y el aprendizaje automático. Estas plataformas también sirven de apoyo a los científicos de datos expertos, ya que también ofrecen una interfaz más técnica. El uso de una plataforma DSML multipersona fomenta la colaboración en toda la empresa.
La computación en la nube escala la ciencia de datos proporcionando acceso a más potencia de procesamiento, almacenamiento y otras herramientas necesarias para los proyectos de ciencia de datos.
Dado que la ciencia de datos suele aprovechar grandes conjuntos de datos, es muy importante disponer de herramientas que puedan adaptarse al tamaño de los datos, sobre todo en proyectos urgentes. Las soluciones de almacenamiento en la nube, como los data lakes, proporcionan acceso a infraestructuras de almacenamiento capaces de ingerir y procesar grandes volúmenes de datos con facilidad. Estos sistemas de almacenamiento proporcionan flexibilidad a los usuarios finales, permitiéndoles crear grandes clústeres según sus necesidades. También pueden añadir nodos de cálculo incrementales para acelerar los trabajos de procesamiento de datos, lo que permite a la empresa hacer concesiones a corto plazo para obtener un resultado mayor a largo plazo. Las plataformas en la nube suelen tener diferentes modelos de precios, como por uso o por suscripción, para satisfacer las necesidades de su usuario final, ya sea una gran empresa o una pequeña startup.
Las tecnologías de código abierto se utilizan ampliamente en los conjuntos de herramientas de la ciencia de datos. Cuando están alojados en la nube, los equipos no necesitan instalarlos, configurarlos, mantenerlos o actualizarlos localmente. Varios proveedores de la nube, como IBM® Cloud, ofrecen también kits de herramientas preempaquetados que permiten a los científicos de datos crear modelos sin necesidad de codificar, lo que democratiza aún más el acceso a las innovaciones tecnológicas y a los insights sobre datos.
Las empresas pueden desbloquear numerosos beneficios de la ciencia de datos. Los casos de uso más comunes incluyen la optimización de procesos mediante la automatización inteligente y la mejora de la orientación y la personalización para mejorar la experiencia del cliente (CX). Sin embargo, hay ejemplos más concretos:
Estos son algunos casos de uso representativos de la ciencia de datos y la inteligencia artificial:
- Un banco internacional ofrece servicios de préstamo más rápidos con una aplicación móvil que utiliza modelos de riesgo crediticios basados en aprendizaje automático y una arquitectura de computación en la nube híbrida que es tanto potente como segura.
- Una empresa de electrónica está desarrollando sensores ultrapotentes impresos en 3D para guiar los vehículos sin conductor del futuro. La solución se basa en la ciencia de datos y en herramientas de analytics para mejorar su capacidad de detección de objetos en tiempo real.
- Un proveedor de soluciones de automatización de procesos robóticos (RPA) desarrolló una solución cognitiva de minería de procesos de negocio que reduce los tiempos de gestión de incidencias entre el 15 % y el 95 % para sus empresas clientes. La solución está capacitada para comprender el contenido y el sentimiento de los correos electrónicos de los clientes, dirigiendo a los equipos de servicio para que den prioridad a los más relevantes y urgentes.
- Una empresa de tecnología de medios digitales creó una plataforma de analytics de audiencias que permite a sus clientes ver qué atrae a los telespectadores cuando se les ofrece una gama cada vez mayor de canales digitales. La solución emplea analytics profundos y aprendizaje automático para obtener insights en tiempo real sobre el comportamiento de los espectadores.
- Un departamento de policía urbano creó herramientas de análisis estadístico de incidentes (enlace externo a ibm.com) para ayudar a los oficiales a entender cuándo y dónde desplegar recursos para evitar delitos. La solución basada en datos crea informes y paneles para aumentar la conciencia de la situación por parte de los agentes sobre el terreno.
- Shanghai Changjiang Science and Technology Development utilizó la tecnología IBM® watsonx para crear una plataforma de evaluación médica basada en IA que puede analizar los registros médicos existentes para categorizar a los pacientes en función del riesgo de sufrir un accidente cerebrovascular y que puede predecir la tasa de éxito de diferentes tratamientos.
Experimente con modelos fundacionales y cree modelos de aprendizaje automático instantáneamente en nuestro estudio de próxima generación para creadores de IA.
Sincronice DevOps y ModelOps. Cree y escale modelos de IA con su aplicación nativa de la nube en prácticamente cualquier nube.
Aumente la interpretabilidad de la IA. Evalúe y mitigue los riesgos de la IA. Despliegue la IA con confianza y seguridad.
Cree y entrene rápidamente modelos predictivos de alta calidad. Simplifique la gestión del ciclo de vida de la IA.
Autostrade per l'Italia implementó varias soluciones de IBM para una transformación digital completa con el fin de mejorar la forma en que supervisa y mantiene su amplia gama de activos de infraestructura.
MANA Community se asoció con IBM Garage para construir una plataforma de IA que permita extraer enormes volúmenes de datos medioambientales de múltiples canales digitales y miles de fuentes.
Tener total libertad para elegir lenguajes, herramientas y marcos de programación mejora el pensamiento creativo y la evolución.