¿Qué es un producto de datos?

Los productos de datos se desarrollan con un enfoque de pensamiento de producto y aplicando los principios tradicionales de desarrollo de productos. Este enfoque implica comprender las necesidades de los usuarios, priorizar las características de alto valor e iterar en función del feedback. En última instancia, trata los datos como un producto diseñado para resolver problemas específicos de los usuarios. 

Los productos de datos están diseñados para ser detectables, interoperables y aplicables en la práctica. Permiten que todos, desde usuarios empresariales y analistas de datos hasta científicos de datos, administradores de datos e ingenieros, extraigan un valor significativo de los datos dentro de una empresa. 

El concepto de productos de datos ganó prominencia en 2019 cuando Zhamak Dehghani, director de tecnología de la consultora de TI ThoughtWorks, introdujo los productos de datos como un componente central de la arquitectura de malla de datos. Una malla de datos es una arquitectura de datos descentralizada que organiza los datos por dominios comerciales específicos (como marketing, ventas y atención al cliente) para proporcionar más propiedad a los productores de un conjunto de datos determinado. 

Para funcionar eficazmente, un producto de datos debe presentar varias características clave:

McKinsey informa que las empresas basadas en datos tienen 23 veces más probabilidades de adquirir clientes y 19 veces más probabilidades de ser rentables. Sin embargo, a pesar de la creciente demanda de toma de decisiones basada en datos, muchas organizaciones siguen enfrentándose a obstáculos como silos de datos, dependencia de proveedores y riesgos de cumplimiento debido a marcos de gobernanza de datos insuficientes.

Para abordar estos desafíos, algunas organizaciones han adoptado un enfoque de datos como producto tratando los datos como un activo gestionado y consumible en lugar de un subproducto de las operaciones.  

Las metodologías de datos como producto enfatizan la estructuración y gobernanza de los datos para informar las decisiones comerciales y mejorar la experiencia del usuario. Sobre esa base, los productos de datos proporcionan un enfoque estructurado y de autoservicio para la gestión de datos, lo que reduce la dependencia de los equipos técnicos y respalda la toma de decisiones en tiempo real. 

Las organizaciones que invierten en productos de datos pueden experimentar mejoras en el acceso a los datos, la interoperabilidad, el almacenamiento y la gobernanza. En todas las industrias, los productos de datos tienen el potencial de mejorar la Automatización, respaldar la toma de decisiones basada en datos y ayudar a las compañías a alinear sus estrategias de datos con los objetivos comerciales a largo plazo. Al aprovechar plataformas de datos robustas, modelos de machine learning y herramientas de visualización , las organizaciones pueden capacitar a los equipos para maximizar sus datos. 

Los productos de datos a menudo logran estos beneficios al potenciar varios roles dentro de una organización: 

• Los científicos de datos  y los ingenieros de IA obtienen un acceso más rápido a los datos y elementos relevantes, acelerando el desarrollo y el despliegue de soluciones de IA y aprendizaje automático (ML). 

• Los ingenieros de datos obtienen un beneficio de la automatización de las pruebas, el despliegue y la curaduría de datos, lo que garantiza que las canalizaciones cumplen las normas de calidad de datos y los acuerdos de nivel de servicio especificados en los contratos de productos de datos. 

• Los analistas de datos y los consumidores reciben datos oportunos y confiables que se alinean con las necesidades específicas de su dominio y pueden actualizarse rápidamente sin depender de un equipo central de TI. 

• Los administradores de datos pueden mantener una gobernanza y un cumplimiento sólidos a través de contratos de datos, estableciendo barreras claras que protegen los datos y los mantienen seguros. 

La forma en que las organizaciones gestionan los datos ha evolucionado de un enfoque pasivo, basado en activos, a una estrategia activa, impulsada por productos.

Tradicionalmente, las empresas han tratado los datos principalmente como algo para recopilar y almacenar. Este enfoque coloca los datos en un almacén de datos central o sistema de origen, organizándolos por área temática (como finanzas o marketing) y asignando la propiedad a equipos centralizados. El éxito a menudo se mide por el volumen de datos, como los terabytes almacenados, con la esperanza de que, simplemente teniendo más datos, los empleados los utilicen. 

Sin embargo, los metadatos suelen ser definidos por los departamentos de TI y no son fáciles de usar para los consumidores de datos. Como resultado, muchos esfuerzos con activos de datos giran en torno a analytics descriptivos e informes, mirando hacia atrás a lo que sucedió en lugar de usar los datos de manera proactiva para resolver preguntas comerciales. 

Por el contrario, ver los datos como un producto cambia el enfoque del almacenamiento al uso y la creación de valor. Los productos de datos tienen una Experiencia de ciclo de vida del producto de datos y se diseñan, prueban e iteran, al igual que los productos de software que siguen una metodología Ágil o DataOps.  

La propiedad es específica del dominio (por ejemplo, un producto de datos de marketing gestionado por expertos en marketing), lo que mantiene los datos relevantes y de alta calidad. Los datos también se curan para necesidades de consumo específicas, con metadatos enriquecidos impulsados por el negocio. Esto garantiza que los usuarios empresariales puedan descubrir y comprender fácilmente los productos de datos.

Dado que los propietarios de los datos asumen la responsabilidad de los productos de datos, existe una supervisión continua del uso, la calidad y el valor derivados de un producto a través de bucles de retroalimentación con los usuarios finales.  

El éxito se mide por la forma en que los datos mejoran la toma de decisiones, impulsan los ingresos o reducen los costos, en lugar de simplemente por cuántos terabytes se almacenan. Como resultado, las iniciativas de productos de datos pueden resolver preguntas comerciales con analytics avanzados , como el modelado predictivo y prescriptivo. 

Un producto de datos bien estructurado consta de varios componentes que permiten la funcionalidad y la usabilidad dentro del ecosistema de datos de una organización: 

• Fuentes de datos: los orígenes de los datos, que abarcan bases de datos , almacenes de datos , lagos de datos, lakehouses de datos o flujos de datos en tiempo real. 

• Pipelines de datos:flujos de trabajo automatizados responsables de ingerir, limpiar, transformar y cargar datos en un formato estructurado adecuado para el análisis.

• Modelos y esquemas de datos: estructuras definidas que estandarizan la organización de los datos, mejorando la accesibilidad y la consistencia semántica. A menudo, estos se basan en SQL para realizar consultas y transformaciones. 

• Interfaces y API: mecanismos que facilitan la integración con aplicaciones y aplicaciones empresariales, lo que garantiza un acceso a los datos seguro y sin problemas. 

• Visualizaciones y paneles: herramientas fáciles de usar que presentan insights a través de informes interactivos o pantallas analíticas, lo que ayuda en la interpretación de los datos. 

• Modelos de aprendizaje automático (ML): algoritmos predictivos que analizan patrones dentro de los datos, apoyando la toma de decisiones a través de la computación avanzada. 

• Controles de seguridad y gobernanza: políticas y medidas que garantizan el cumplimiento de las regulaciones de gobernanza de datos, rastrean el linaje de datos y gestionan los controles de acceso para mantener la integridad y seguridad de los datos. 

Los productos de datos se pueden clasificar según la calidad de los datos y los niveles de refinamiento. Los tipos de productos de datos incluyen: 

Al seguir un ciclo de vida estructurado de gestión de productos , los equipos de datos pueden crear productos de datos que sean continuamente valiosos, escalables y alineados con las necesidades comerciales en evolución. 

​Las etapas clave del ciclo de vida de un producto de datos incluyen: 

1. Definir: defina el objetivo de negocio, el caso de uso, la especificación de diseño y el contrato de datos. Esto incluye atributos como términos, condiciones y acuerdos de nivel de servicio. 
   
   
2. Desarrollo: cree los componentes del producto de datos, como tablas, vistas, modelos, archivos y paneles. Luego, realice pruebas con el contrato de datos. 
   
   
3. Paquete: organice los componentes del producto de datos en un paquete reutilizable, enriquecido con metadatos técnicos y empresariales para facilitar su descubrimiento dentro de un catálogo de datos u otra herramienta de almacenamiento de datos.
   
   
4. Govern: administre los permisos de acceso del producto de datos según el contrato de datos. 
   
   
5. Publicar: publique su producto de datos en un portal para su descubrimiento.  
   
   
6. Consumir: permita a los consumidores de toda la organización acceder fácilmente al producto de datos para dirección de diversos desafíos. Recopile feedback de los consumidores para realizar mejoras en futuras iteraciones.​ 
   
   
7. Monitorear e iterar: realice actividades continuas, como monitorear el uso, la calidad y el acceso. Implemente la gestión de versiones para los cambios de versión de los productos de datos publicados.​​ 
   
   
8. Retirar: retirar el producto de datos por motivos, como falta de uso o incumplimiento. Deje obsoleto el producto, informe a los consumidores, archive los productos y limpie los recursos. 

Las organizaciones de todas las industrias dependen de los productos de datos para impulsar el valor del negocio, dar soporte a iniciativas estratégicas y resolver problemas críticos del negocio.  

Los ejemplos de la vida real de productos de datos incluyen:

• Un gran banco nacional implementó un único producto de datos de clientes que impulsa 60 casos de uso diversos, que van desde la puntuación de riesgo crediticio en tiempo real hasta los chatbots de IA, a través de múltiples canales. Como resultado, el banco obtuvo 60 millones de dólares adicionales en ingresos anuales y evitó pérdidas de 40 millones de dólares. 
  
  
• Una empresa de bienes de consumo empaquetados (CPG) introdujo productos de datos para optimizar el uso de datos, mejorando la eficiencia y la escalabilidad. Al desplegar más de 50 equipos multifuncionales para implementar soluciones basadas en datos, la empresa aumentó el EBITDA en un 18 % en dos años. 

El éxito en el desarrollo de productos de datos requiere un enfoque estratégico que incluya la comprensión del consumo de datos, el mapeo de las interacciones de datos, la comprobación del valor de mercado y la iteración a escala. 

El primer paso para crear un producto de datos es analizar el consumo actual de datos dentro de la organización. Este paso implica identificar a los usuarios objetivo, comprender los datos que consumen y por qué esos datos son importantes para ellos.  

Revisar el uso de datos en términos de volumen, frecuencia, sensibilidad y tipo proporciona insights sobre qué conjuntos de datos tienen más valor. Al priorizar los grupos de usuarios de alto impacto, las organizaciones pueden ayudar a garantizar que los esfuerzos iniciales se centren en áreas con el mayor potencial de impacto empresarial. 

Una vez que los patrones de consumo de datos estén claros, el siguiente paso es mapear el recorrido de los datos. La creación de mapas detallados de interacciones de datos del mundo real ayuda a visualizar cómo fluyen los datos en diferentes sistemas y equipos.  

Estos mapas pueden servir como base para generar ideas sobre nuevos casos de uso generadores de ingresos para productos de datos. Desarrollar hipótesis sobre cómo los productos de datos pueden mejorar los procesos de negocio puede ayudar a las organizaciones a comenzar a explorar formas de convertir los datos sin procesar en insights significativos y procesables. 

Con insights validados, el siguiente paso es iterar y escalar. En lugar de depender únicamente de los equipos centrales de TI, las organizaciones pueden fomentar la agilidad y la innovación al capacitar a los dominios y equipos empresariales para refinar y mejorar el producto de datos. Una vez realizadas las mejoras, el proyecto se puede ampliar a más equipos y dominios, lo que garantiza que el producto de datos se escale de forma eficaz y siga impulsando el valor empresarial.