¿Qué es un producto de datos?

Los productos de datos se desarrollan con un enfoque de pensamiento de producto y aplicando los principios tradicionales de desarrollo de productos. Este enfoque implica comprender las necesidades de los usuarios, priorizar las características de alto valor e iterar en función del feedback. En última instancia, trata los datos como un producto diseñado para resolver problemas específicos de los usuarios. 

Los productos de datos están diseñados para ser detectables, interoperables y procesables. Permiten que todos, desde usuarios empresariales y analistas de datos hasta científicos de datos, administradores de datos e ingenieros, extraigan un valor significativo de los datos atrapados dentro de una empresa. 

El concepto de productos de datos  ganó protagonismo en 2019 cuando Zhamak Dehghani, director de tecnología de la consultora de TI ThoughtWorks, introdujo los productos de datos como un componente central de la arquitectura de malla de datos. Una malla de datos es una arquitectura de datos descentralizada que organiza los datos por dominios empresariales específicos (como marketing, ventas y servicio de atención al cliente) para proporcionar más propiedad a los productores de un conjunto de datos determinado. 

Para funcionar eficazmente, un producto de datos debe presentar varias características clave:

McKinsey informa que las empresas basadas en datos tienen 23 veces más probabilidades de adquirir clientes y 19 veces más probabilidades de ser rentables. Sin embargo, a pesar de la creciente demanda de toma de decisiones basada en datos, muchas organizaciones siguen enfrentándose a obstáculos como silos de datos, dependencia de proveedores y riesgos de cumplimiento debido a marcos de gobierno de datos insuficientes.

Para abordar estos desafíos, algunas organizaciones han adoptado un enfoque de datos como producto, tratando los datos como un activo gestionado y consumible en lugar de un subproducto de las operaciones.  

Las metodologías de datos como producto hacen hincapié en la estructuración y el gobierno de los datos para fundamentar las decisiones empresariales y mejorar la experiencia del usuario. Partiendo de esa base, los productos de datos ofrecen un enfoque estructurado y de autoservicio para la gestión de datos, lo que reduce la dependencia de los equipos técnicos mientras se apoya la toma de decisiones en tiempo real. 

Las organizaciones que invierten en productos de datos pueden experimentar mejoras en el acceso a los datos, la interoperabilidad, el almacenamiento de datos y el gobierno. En todos los sectores, los productos de datos tienen el potencial de mejorar la automatización, respaldar la toma de decisiones basada en datos y ayudar a las empresas a alinear sus estrategias de datos con objetivos empresariales a largo plazo. Al aprovechar plataformas de datos robustas, modelos de machine learning y herramientas de visualización, las organizaciones pueden empoderar a los equipos para maximizar sus datos. 

Los productos de datos a menudo logran estas ventajas al potenciar varios roles dentro de una organización: 

• Los científicos de datos y los ingenieros de IA obtienen un acceso más rápido a los datos y a los elementos relevantes, lo que acelera el desarrollo y la implementación de soluciones de IA y ML. 

• Los ingenieros de datos se benefician de las pruebas automatizadas, la implementación y la conservación de datos, lo que garantiza que las canalizaciones cumplan con los estándares de calidad de datos y los acuerdos de nivel de servicio especificados en los contratos de productos de datos. 

• Los analistas de datos y los consumidores reciben datos oportunos y fiables que se ajustan a las necesidades específicas de su dominio y que pueden actualizarse rápidamente sin depender de un equipo central de TI. 

• Los administradores de datos pueden mantener un gobierno y un cumplimiento sólidos mediante contratos de datos, estableciendo barandillas claras que protejan los datos y los mantengan seguros. 

La forma en que las organizaciones gestionan los datos ha evolucionado de un enfoque pasivo, basado en activos, a una estrategia activa, impulsada por productos.

Tradicionalmente, las empresas han tratado los datos principalmente como algo que reunir y almacenar. Este enfoque coloca los datos en un almacén de datos central o en un sistema fuente, organizándolos por áreas temáticas (como finanzas o marketing) y asignando la propiedad a equipos centralizados. El éxito se mide a menudo por el volumen de datos, como los terabytes almacenados, con la esperanza de que por el simple hecho de tener más datos, los empleados los utilicen. 

Sin embargo, los metadatos suelen definirlos los departamentos de TI y no son fáciles de usar para los consumidores de datos. Como resultado, muchos esfuerzos con los activos de datos giran en torno al análisis descriptivo y la elaboración de informes, mirando hacia atrás para ver qué ha pasado en lugar de utilizar los datos de forma proactiva para resolver las cuestiones empresariales. 

Por el contrario, ver los datos como un producto cambia el enfoque del almacenamiento al uso y la creación de valor. Los productos de datos tienen una experiencia de ciclo de vida del producto de datos y se diseñan, prueban e iteran, al igual que los productos de software que siguen una metodología ágil o DataOps.  

La propiedad es específica del dominio (por ejemplo, un producto de datos de marketing gestionado por expertos en marketing), lo que mantiene los datos relevantes y de alta calidad. Los datos también se seleccionan para necesidades de consumo específicas, con metadatos enriquecidos impulsados por el negocio. Esto garantiza que los usuarios empresariales puedan descubrir y comprender fácilmente los productos de datos.

Dado que los propietarios de los datos asumen la responsabilidad de los productos de datos, existe una monitorización continua del uso, la calidad y el valor derivado de un producto a través de bucles de feedback con los usuarios finales.  

El éxito se mide por cómo los datos mejoran la toma de decisiones, impulsan los ingresos o reducen los costes, en lugar de simplemente por cuántos terabytes se almacenan. Como resultado, las iniciativas de productos de datos pueden resolver preguntas empresariales con análisis avanzados, como el modelado predictivo y prescriptivo. 

Un producto de datos bien estructurado consta de varios componentes que permiten la funcionalidad y la usabilidad dentro del ecosistema de datos de una organización: 

• Fuentes de datos: los orígenes de los datos, que abarcan bases de datos, almacenes de datos, data lakes, lakehouses de datos o flujos de datos en tiempo real. 

• Canalizaciones de datos: flujos de trabajo automatizados responsables de consumir, limpiar, transformar y cargar datos en un formato estructurado adecuado para el análisis.

• Modelos y esquemas de datos: estructuras definidas que estandarizan la organización de los datos, mejorando la accesibilidad y la coherencia semántica. A menudo, estos se basan en SQL para consultas y transformaciones. 

• Interfaces y API: mecanismos que facilitan la integración con aplicaciones y aplicaciones empresariales, garantizando un acceso a los datos seguro y sin fisuras. 

• Visualizaciones y paneles de control: herramientas fáciles de usar que presentan conocimiento a través de informes interactivos o pantallas analíticas, lo que ayuda a interpretar los datos. 

• Modelos de ML: algoritmos predictivos que analizan patrones dentro de los datos, apoyando la toma de decisiones informadas a través de la computación avanzada. 

• Controles de seguridad y gobierno: políticas y medidas que garantizan el cumplimiento de las regulaciones de gobierno de datos, rastrean el linaje de datos y administran los controles de acceso para mantener la integridad y seguridad de los datos. 

Los productos de datos se pueden clasificar según la calidad de los datos y los niveles de refinamiento. Los tipos de productos de datos incluyen: 

Al seguir un ciclo de vida estructurado de gestión de productos, los equipos de datos pueden crear productos de datos que sean continuamente valiosos, escalables y alineados con las cambiantes necesidades empresariales. 

​Las etapas clave del ciclo de vida de un producto de datos incluyen: 

1. Definición: defina el objetivo empresarial, el caso de uso, la especificación de diseño y el contrato de datos. Esto incluye atributos como términos, condiciones y acuerdos de nivel de servicio. 
   
   
2. Desarrollo: cree los componentes del producto de datos, como tablas, vistas, modelos, archivos y paneles de control. A continuación,​realice pruebas con el contrato de datos. 
   
   
3. Paquete: organice los componentes del producto de datos en un paquete reutilizable, enriquecido con metadatos técnicos y empresariales para facilitar su descubrimiento dentro de un catálogo de datos u otra herramienta de almacenamiento de datos.
   
   
4. Gobierno: gestione los permisos de acceso del producto de datos según el contrato de datos. 
   
   
5. Publicación: publique su producto de datos en un portal para su descubrimiento.  
   
   
6. Consumo: permita a los consumidores de toda la organización acceder fácilmente al producto de datos para abordar diversos desafíos. Recopile el feedback de los clientes para mejorarlos en futuras versiones.​ 
   
   
7. Supervisión y repetición: lleve a cabo actividades continuas como la supervisión del uso, la calidad y el acceso. Implemente la gestión de versiones para los cambios de versión de los productos de datos publicados.​​ 
   
   
8. Retirada: retire el producto de datos por motivos como la falta de uso o el incumplimiento. Deje obsoleto el producto, informe a los consumidores, archive los productos y limpie los recursos. 

Las organizaciones de todos los sectores confían en los productos de datos para impulsar el valor empresarial, respaldar iniciativas estratégicas y resolver problemas empresariales críticos.  

Algunos ejemplos reales de productos de datos son:

• Un banco nacional grande implementó un único producto de datos de clientes que potencia 60 casos de uso diversos (que van desde la calificación de riesgo crediticio en tiempo real hasta chatbot de IA) en múltiples canales. Como resultado, el banco obtuvo 60 millones de dólares adicionales en ingresos anuales y evitó pérdidas de 40 millones de dólares. 
  
  
• Una empresa de bienes de consumo envasados (CPG) introdujo productos de datos para agilizar el uso de datos, mejorando la eficiencia y la escalabilidad. Al implementar más de 50 equipos multifuncionales para implementar soluciones basadas en datos, la empresa aumentó el EBITDA en un 18 % en dos años. 

El desarrollo exitoso de productos de datos requiere un enfoque estratégico que incluya comprender el consumo de datos, mapear las interacciones de datos, probar el valor de mercado e iterar para escalar. 

El primer paso para crear un producto de datos es analizar el consumo de datos dentro de la organización. Este paso implica identificar a los usuarios objetivo, comprender los datos que consumen y por qué esos datos son importantes para ellos.  

Revisar el uso de los datos en términos de volumen, frecuencia, sensibilidad y tipo proporciona conocimiento sobre qué conjuntos de datos tienen más valor. Al dar prioridad a los grupos de usuarios de alto impacto, las organizaciones pueden ayudar a garantizar que los esfuerzos iniciales se centren en las áreas con mayor potencial de impacto empresarial. 

Una vez que los patrones de consumo de datos están claros, el siguiente paso es mapear el viaje de los datos. La creación de mapas detallados de las interacciones de datos del mundo real ayuda a visualizar cómo fluyen los datos a través de diferentes sistemas y equipos.  

Estos mapas pueden servir como base para generar ideas sobre nuevos casos de uso generadores de ingresos para productos de datos. Desarrollar hipótesis sobre cómo los productos de datos pueden mejorar los procesos empresariales puede ayudar a las organizaciones a empezar a explorar formas de convertir los datos sin procesar en conocimientos significativos y que se pueden ejecutar. 

Con conocimiento validado, el siguiente paso es iterar y escalar. En lugar de depender únicamente de los equipos centrales de TI, las organizaciones pueden fomentar la agilidad y la innovación capacitando a los dominios y equipos empresariales para perfeccionar y mejorar el producto de datos. Una vez realizadas las mejoras, el proyecto puede ampliarse a más equipos y dominios, garantizando que el producto de datos se escale de forma eficaz y siga impulsando el valor empresarial.