¿Qué son los datos como producto (DaaP)?

El concepto de datos como producto surgió como una estrategia de datos popular para las organizaciones que desean aprovechar todo el potencial de sus activos de datos.

DaaP transforma los datos sin procesar en un producto estructurado, accesible y valioso. Esta transformación anima a las organizaciones a ver sus datos acumulados durante décadas, que consisten en documentación, conjuntos de datos y registros digitales, como un rico repositorio de insights críticos para la toma de decisiones estratégicas y la interacción con el cliente.

El potencial de los datos a menudo se oscurece dentro de los silos, lo que los hace inaccesibles y subutilizados. El surgimiento de DaAP marca un alejamiento de esto, abogando por un enfoque sistemático para la administración de datos que enfatiza la accesibilidad, la gobernanza y la utilidad. Esta metodología se basa en el principio de que los datos, al igual que cualquier producto de consumo, deben administrarse y organizarse meticulosamente para satisfacer las necesidades específicas de sus usuarios, ya sean clientes, empleados o socios.

Si bien están relacionados, DaaP y los productos de datos tienen propósitos distintos dentro de la gestión de datos.

DaaP es una metodología holística para la gestión de datos, especialmente en el contexto de los principios de malla de datos, diseñada para tratar los datos como un producto comercializable que puede servir a diversos usuarios dentro y fuera de la organización. DaaP contiene el código, sus datos y metadatos y cualquier infraestructura necesaria para ejecutarlo.

Una plataforma de insights del cliente diseñada para una compañía minorista es un buen ejemplo de DaaP. La plataforma agrega datos de los clientes a través de múltiples puntos de contacto, como las compras en la tienda, el comportamiento de compra en línea, las interacciones de servicio al cliente y la participación en las redes sociales, para crear una vista completa de las preferencias, comportamientos y patrones de compra de cada cliente.

Por el contrario, los productos de datos se centran en el aprovechamiento de los datos para ofrecer soluciones e información práctica, como cuadros de mando analíticos y modelos predictivos. Abordan problemas específicos, se apoyan en sofisticadas técnicas de tratamiento de datos y se dirigen a un público amplio, que incluye gestores de productos, científicos de datos y usuarios finales. Ejemplos de productos de datos pueden ser un panel de análisis empresarial, un chatbot o incluso un sistema de recomendaciones, como los que se ven al comprar en Amazon.

Ambos conceptos se basan en una base compartida de gestión y gobernanza de datos, con el objetivo final de maximizar el valor intrínseco de los datos.

A medida que las compañías comenzaron a invertir en tecnologías avanzadas de almacenamiento de datos para hacer que los datos fueran ampliamente accesibles y utilizables para generar información empresarial y automatizar decisiones, los ingenieros de datos se enfrentaron a varios desafíos, ya que las soluciones no se escalaron según lo previsto. Debido a que los datos a menudo estaban plagados de errores, incompletos y no eran significativos o veraces,y debido a que tenían muy poca comprensión de los dominios de origen que generaban estos datos, los ingenieros tuvieron dificultades para corregir lo que no sabían o entendían.

Los ingenieros de datos reconocieron la necesidad de cambiar su enfoque a la hora de diseñar arquitecturas distribuidas modernas. Vieron la importancia de adoptar una nueva metodología que organizara la arquitectura en torno a los dominios empresariales específicos a los que pretende dar soporte. Este enfoque incorpora el pensamiento de producto para desarrollar una infraestructura de datos de autoservicio funcional y fácil de usar.¹

El pensamiento de producto es más que las características de un producto; se trata de crear soluciones significativas que resuenen con los usuarios y se destaquen en el mercado. Es una filosofía que influye en cada etapa del proceso de desarrollo de productos, desde la ideación hasta el lanzamiento y la iteración. Los ingenieros se dieron cuenta de que al tratar los datos como producto, podían mejorar significativamente su uso y valor dentro de la organización.

Al adoptar un enfoque que trata los conjuntos de datos como productos, se crean equipos de dominio dentro de áreas de negocio específicas para que se encarguen de gestionar y difundir sus datos en toda la organización, para centrar mejor la experiencia del usuario para los consumidores principales de estos datos, generalmente científicos e ingenieros de datos.

Estos equipos de dominio comparten sus datos a través de API (interfaces de programación de aplicaciones), acompañadas de documentación completa, entornos de prueba estables e indicadores de rendimiento claros.

Un DaaP exitoso debe cumplir los siguientes requisitos:

1. Fácilmente reconocible
2. Direccionable
3. Confiable
4. Bien documentado
5. Capaz de trabajar con otros productos de datos
6. Aseguran

Esto significa que en una metodología DaAP, los datos deben ser fáciles de encontrar, confiables, claros en lo que representa, pueden integrarse con otros datos y estar protegidos contra el acceso no autorizado.

Imagine que DaaP es como un viaje aéreo y que cada pieza de datos es un viajero: las organizaciones y los usuarios necesitan saber de dónde proviene cada punto de datos, qué transformaciones experimentó y dónde está destinado a terminar. Esto se denomina linaje de datos y es un elemento crucial para la adopción efectiva de DaaP. Mediante el uso de herramientas como IBM InfoSphere, AWS Glue o Cloudera Data Hub, las organizaciones pueden gestionar metadatos y realizar un seguimiento de los recorridos de los datos para garantizar la transparencia y evitar confusiones.

Una vez que cada viajero fue debidamente investigado, aborda el avión. Así como la aerolínea necesita cerciorar de que el avión sea lo suficientemente grande y resistente para transportar a los pasajeros, las organizaciones deben emplear una infraestructura escalable para dar cabida a volúmenes de datos crecientes y múltiples solicitudes de acceso. Dependiendo de las necesidades comerciales específicas de una organización y de los segmentos de mercado, existen varias plataformas basadas en la nube, soluciones de código abierto y plataformas comerciales entre las que las organizaciones pueden elegir.

Ahora, imagine que necesita información de vuelo, pero el sistema no funciona. Esto rompe la confianza de los viajeros y pinta a una aerolínea como poco confiable e ineficaz, razón por la cual las herramientas de DaaP deben funcionar de manera constante. También es la razón por la que las organizaciones deben proporcionar planes e reportes claros sobre la recuperación y redundancia de datos.

No hay viajes aéreos sin seguridad y lo mismo ocurre con DaAP. Las características de seguridad como el control de acceso basado en roles, el cifrado de datos y los sistemas de detección de intrusiones protegen los datos confidenciales y garantizan el cumplimiento de regulaciones como GDPR e HIPAA. Las prácticas de gobierno, que incluyen monitoreo de calidad de datos, catalogación y gestión de cambios, aseguran que los datos de la organización sean confiables y accesibles.

En el núcleo de DaaP se encuentra la orquestación meticulosa de conjuntos de datos. Estos conjuntos de datos están seleccionados por prácticas de ingeniería de datos, que implican el diseño, la construcción y la gestión de pipelines de datos a gran escala. Estos pipelines transportan datos desde fuentes de datos a través de un proceso de extremo a extremo, transformando datos sin procesar en información estructurada y de alta calidad almacenada en almacenes de datos o lagos de datos. Las plataformas de datos son la base de estas operaciones, ya que proporcionan la infraestructura y las herramientas necesarias para que los equipos de datos realicen tareas de analytics y ciencia de datos de manera eficiente.

Los modelos y esquemas de datos son cruciales en este contexto, ya que definen cómo se organizan, almacenan y relacionan los datos dentro del almacén de datos o lago de datos. Aseguran que los datos sean detectables, accesibles y utilizables para los consumidores de datos: los analistas de negocios, científicos de datos y desarrolladores de aplicaciones que obtienen conocimientos y crean aplicaciones basadas en estos datos. SQL (Structured Query Language) sigue siendo una herramienta fundamental para interactuar con los datos, lo que permite a los usuarios de datos consultar, manipular y analizar conjuntos de datos para satisfacer sus necesidades específicas.

Los equipos de datos emplean métricas para evaluar la calidad, el rendimiento y el valor del producto de datos. Estas métricas guían los procesos de iteración y mejora continua, cerciorando que el producto de datos evolucione en respuesta a los comentarios de los consumidores de datos y a los cambios en los requisitos del negocio.

Las API son los conductos a través de los cuales se entregan los productos de datos a los usuarios finales y las aplicaciones. Facilitan el acceso, permitiendo a los consumidores de datos integrar y emplear datos en diversos casos de uso, desde reportes operativos hasta proyectos avanzados de machine learning e inteligencia artificial (IA). Esta capacidad de integración subraya la importancia de una estrategia de API bien diseñada en el ciclo de vida de DaaP, garantizando que los datos no solo sean accesibles sino también procesables.

La aplicación machine learning y la inteligencia artificial dentro de DaaP permite a las compañías desbloquear conocimientos predictivos y automatizar los procesos de toma de decisiones. Al aprovechar modelos de machine learning capacitados con datos históricos, las compañías pueden anticipar tendencias futuras, optimizar operaciones y crear experiencias personalizadas para los clientes. Este uso avanzado de datos subraya la naturaleza iterativa de DaaP, donde los productos de datos se perfeccionan y mejoran continuamente en función de nuevos datos, casos de uso emergentes y comentarios de los consumidores de datos.

DaaP aboga por gestionar el ciclo de vida de un producto de datos, desde el momento de la creación hasta el mantenimiento y su evolución a lo largo del tiempo. Implica un serial de etapas, que incluyen planeación, desarrollo, despliegue e iteración, cada una de las cuales requiere una estrecha colaboración entre los equipos de datos, las partes interesadas del negocio y los consumidores de datos. Este enfoque de ciclo de vida garantiza que los productos de datos sigan siendo relevantes, valiosos y alineados con los objetivos comerciales.

Para que los datos sean más útiles dentro de una organización, es esencial que los conjuntos de datos sean fáciles de encontrar, confiables y puedan funcionar bien con otros datos. La esencia de hacer que los datos de DaaP sean fácilmente detectables y direccionables dentro de una organización depende de la implementación de un registro o catálogo centralizado. Este registro debe detallar todos los datos de DaaP disponibles, incluidos metadatos como propiedad, fuente y linaje, lo que permite a los consumidores de datos, ingenieros y científicos localizar de manera eficiente conjuntos de datos relevantes.

Al instituir objetivos de nivel de servicio (SLO) relativos a la veracidad de los datos y aplicar rigurosas pruebas de integridad y limpieza de datos desde el principio, las organizaciones pueden reforzar la confianza de los usuarios en sus datos. Además, los datos deben ser autodescriptivos y adherirse a los estándares globales de interoperabilidad, lo que permite la integración de datos en diversos dominios. El papel de los propietarios e ingenieros de productos de datos es fundamental en este ecosistema, ya que define e impulsa la gestión del ciclo de vida de los datos de DaaP para deleitar a los usuarios y cumplir con los estándares de calidad. Este enfoque no solo requiere una combinación de habilidades de ingeniería de datos y software, sino que también fomenta una cultura de innovación, intercambio de habilidades y colaboración multifuncional dentro del panorama tecnológico.

DaaP anima a las compañías a ver todos los datos como productos valiosos, lo que refleja los principios de productos basados en el consumidor en la gestión, selección, personalización y entrega de datos. Este enfoque fomenta un flujo continuo de datos de alta calidad desde sus creadores hasta sus consumidores, respaldado por herramientas y mentalidades centradas en el cliente. Imagine que los datos son como un producto que vería en las tiendas; bajo una metodología DaaP, una organización debería tratar sus datos con el mismo cuidado y atención que los productos físicos.

Esto significa recopilar y almacenar únicamente datos que sean verdaderamente útiles, garantizar que se presenten de forma clara, organizada y fácil de usar y garantizar que se ajusten al contexto de la industria o del dominio. Cuando estas piezas están en su lugar, DaaP permite la distribución de datos de alta calidad dentro de la organización. El aceite fue procesado y está ayudando a hacer funcionar la máquina.

Aplicar un enfoque DaaP dentro de una organización significa alinear a las partes interesadas y mantenerlas informadas, desarrollar una mentalidad en la que los datos se traten y gestionen como un producto de alta calidad y significa crear o invertir en herramientas de autoservicio, uno de los principios fundamentales del concepto de malla de datos: un enfoque en desarrollo para la arquitectura de datos descentralizada.

La adopción de DaAP presenta desafíos, que incluyen preocupaciones sobre la privacidad de los datos, la resistencia organizacional al cambio y la necesidad de una mayor alfabetización de datos entre los empleados. Superar estos obstáculos requiere planeación estratégica, aceptación organizacional e inversiones en tecnología y talento.

Navegar y cumplir con las regulaciones de privacidad de datos en un mercado global que contiene diferentes regiones y reglas es un obstáculo importante que superar. Las organizaciones necesitan experiencia y recursos para garantizar que sus productos DaaP cumplan con las estrictas regulaciones en cada ubicación.

Las filtraciones de datos pueden ser noticia de primera plana y los consumidores son cada vez más conscientes de cómo las organizaciones emplean sus datos. Generar confianza a través de prácticas transparentes de manejo de datos y documentación clara sobre el uso de datos dentro de DaaP es crucial para ganar la confianza de la base de usuarios. Cualquier organización que considere DaaP necesita medidas de seguridad robustas para proteger los datos de filtraciones y accesos no autorizados a los datos. Esto incluye implementar cifrado, controles de acceso y marcos de gobernanza de datos.

El éxito de DaaP no se limita a disponer del hardware y el software adecuados; como siempre, con las nuevas herramientas llega la resistencia al cambio. Las culturas organizacionales establecido podrían resistir a los cambios en la propiedad, el intercambio y la accesibilidad de los datos introducidos por la DaaP. Las estrategias eficaces de gestión del cambio y la comunicación clara son esenciales para garantizar que los diferentes departamentos estén dispuestos y puedan compartir sus datos sin temor a perder el control o el beneficio competitivo. Fomentar la colaboración y demostrar los beneficios de DaaP para todas las partes interesadas es vital y deben establecer roles y responsabilidades claros para la gobernanza de datos y la propiedad del producto para evitar confusiones e inacción.

El desafío humano de una iniciativa DaaP exitosa no termina ahí. Debido a que DaaP requiere que toda la organización tenga en cuenta los datos, las organizaciones pueden encontrar brechas con empleados que carecen de alfabetización de datos. Es posible que los empleados de varios niveles no comprendan completamente los tecnicismos y el valor comercial de DaaP; los programas de capacitación y educación pueden ayudar a cerrar esta brecha. Muchos empleados pueden tener dificultades para analizar y extraer información de los productos DaaP, pero proporcionar herramientas fáciles de usar y capacitación en alfabetización de datos puede empoderarlos. Además, los equipos técnicos necesitan traducir insights de datos complejos en información procesable para stakeholders no técnicos.