¿Qué son los datos como producto (DaaP)?

Aunque están relacionados, los DaaP y productos de datos tienen propósitos distintos dentro de la gestión de datos.

DaaP es una metodología holística para la gestión de datos, particularmente en el contexto de los principios de la malla de datos, diseñada para tratar los datos como un producto comercializable que puede servir a varios usuarios dentro y fuera de la organización. DaaP contiene el código, los datos y metadatos y cualquier infraestructura necesaria para ejecutarlo.

Una plataforma de conocimiento del cliente diseñada para una empresa minorista es un buen ejemplo de DaaP. La plataforma agrega datos de los clientes a través de múltiples puntos de contacto, como las compras en la tienda, el comportamiento de compra en línea, las interacciones de servicio de atención al cliente y la participación en las redes sociales, para crear una vista completa de las preferencias, comportamientos y patrones de compra de cada cliente.

Por el contrario, los productos de datos se centran en aprovechar los datos para ofrecer información y soluciones procesables, como paneles de control de análisis y modelos predictivos. Abordan problemas específicos, están respaldados por sofisticadas técnicas de procesamiento de datos y atienden a una amplia audiencia, incluidos gerentes de productos, científicos de datos y usuarios finales. Los ejemplos de productos de datos pueden incluir algo como un panel de control de análisis empresarial, un chatbot o incluso un sistema de recomendaciones, como lo que ve cuando compra en Amazon.

Ambos conceptos se basan en una base compartida de gestión y gobierno de datos, con el objetivo final de maximizar el valor intrínseco de los datos.

A medida que las empresas comenzaron a invertir en tecnologías avanzadas de almacenamiento de datos para hacer que los datos fueran ampliamente accesibles y utilizables con el fin de generar información empresarial y automatizar decisiones, los ingenieros de datos se enfrentaron a varios desafíos, ya que las soluciones no se escalaron según lo previsto. Dado que los datos solían estar plagados de errores, eran incompletos y no eran significativos ni veraces,y debido a que tenían muy poca comprensión de los dominios de origen que generaban estos datos, los ingenieros luchaban por corregir lo que no sabían o entendían.

Los ingenieros de datos reconocieron la necesidad de cambiar su enfoque para diseñar arquitecturas distribuidas modernas. Vieron la importancia de adoptar una nueva metodología que organizase la arquitectura en torno a los dominios empresariales específicos a los que pretende dar soporte. Este enfoque incorpora el pensamiento de producto para desarrollar una infraestructura de datos de autoservicio funcional y fácil de usar.¹

El pensamiento de producto va más allá de las características de un producto; se trata de crear soluciones significativas que calen en los usuarios y destaquen en el mercado. Es una filosofía que influye en todas las etapas del proceso de desarrollo del producto, desde la ideación hasta el lanzamiento y la iteración. Los ingenieros se dieron cuenta de que, al tratar los datos como un producto, podían mejorar significativamente su uso y valor en la organización.

Al adoptar un enfoque que trata los conjuntos de datos como productos, se crean equipos de dominio dentro de áreas de negocio específicas para que se encarguen de gestionar y difundir sus datos en toda la organización, con el fin de centrar mejor la experiencia de usuario para los principales consumidores de estos datos, normalmente científicos e ingenieros de datos.

Estos equipos de dominio comparten sus datos a través de API (interfaces de programación de aplicaciones), acompañados de documentación completa, entornos de prueba sólidos e indicadores de rendimiento claros.

Unos DaaP exitosos deben cumplir los siguientes requisitos:

1. Fácilmente detectable
2. Direccionable
3. Fiable
4. Bien documentado
5. Capaz de trabajar con otros productos de datos
6. Seguro

Esto significa que, en una metodología DaaP, los datos deben ser fáciles de encontrar, fiables, claros en lo que representan, integrables con otros datos y protegidos contra accesos no autorizados.

Imaginemos que los DaaP es como viajar en avión y que cada dato es un viajero de la aerolínea: las organizaciones y los usuarios necesitan saber de dónde procede cada punto de datos, qué transformaciones ha sufrido y a dónde va a parar. Esto se llama linaje de datos y es un elemento crucial para la adopción efectiva de DaaP. Mediante el uso de herramientas como IBM InfoSphere, AWS Glue o Cloudera Data Hub, las organizaciones pueden gestionar metadatos y realizar un seguimiento de los recorridos de los datos para garantizar la transparencia y evitar confusiones.

Cuando todos los viajeros han sido debidamente examinados, embarcan en el avión. Al igual que la aerolínea debe asegurarse de que el avión sea lo suficientemente grande y resistente para transportar a los pasajeros, las organizaciones deben utilizar una infraestructura escalable para adaptarse a los crecientes volúmenes de datos y a las múltiples solicitudes de acceso. Según las necesidades empresariales específicas de una organización y de los segmentos de mercado, existen varias plataformas basadas en la nube, soluciones de código abierto y plataformas comerciales entre las que las organizaciones pueden elegir.

Ahora, imagine que necesita información de vuelo, pero el sistema no funciona. Esto rompe la confianza de los viajeros y hace que la aerolínea parezca poco fiable e ineficaz, que es exactamente la razón por la que las herramientas DaaP tienen que ofrecer resultados consistentes. También es la razón por la que las organizaciones deben proporcionar planes e informes claros sobre la recuperación y redundancia de datos.

No hay viajes aéreos sin seguridad y lo mismo ocurre con DaaP. Las funciones de seguridad, como el control de acceso basado en roles, el cifrado de datos y los sistemas de detección de intrusiones, protegen los datos confidenciales y garantizan el cumplimiento de normativas como el RGPD y la HIPAA. Las prácticas de gobierno, incluida la monitorización de la calidad de los datos, la catalogación y la gestión de cambios, garantizan que los datos de la organización sean fiables y accesibles.

En el núcleo de DaaP se encuentra la orquestación meticulosa de conjuntos de datos. Estos conjuntos de datos se organizan mediante prácticas de ingeniería de datos, que implican el diseño, la construcción y la gestión de conductos de datos a gran escala. Estas canalizaciones transportan datos desde fuentes de datos a través de un proceso integral, transformando los datos sin procesar en información estructurada y de alta calidad almacenada en almacenes de datos o data lakes. Las plataformas de datos son la base de estas operaciones, ya que proporcionan la infraestructura y las herramientas necesarias para que los equipos de datos realicen tareas de análisis y ciencia de datos de manera eficiente.

Los modelos y esquemas de datos son cruciales en este contexto, puesto que definen cómo se organizan, almacenan y relacionan los datos dentro del almacén de datos o data lake. Garantizan que los datos sean reconocibles, accesibles y utilizables para los consumidores de datos: analistas empresariales, científicos de datos y desarrolladores de aplicaciones que obtienen información y crean aplicaciones basadas en estos datos. SQL (Structured Query Language) sigue siendo una herramienta fundamental para interactuar con los datos, lo que permite a los usuarios de datos consultar, manipular y analizar conjuntos de datos para satisfacer sus necesidades específicas.

Los equipos de datos utilizan métricas para evaluar la calidad, el rendimiento y el valor del producto de datos. Estas métricas guían los procesos de iteración y mejora continua, lo que garantiza que el producto de datos evolucione en respuesta a los comentarios de los consumidores de datos y a los cambios en los requisitos empresariales.

Las API son los conductos a través de los que se entregan los productos de datos a los usuarios finales y a las aplicaciones. Facilitan el acceso y permiten a los consumidores de datos integrar y utilizar los datos en varios casos de uso, desde informes operativos hasta proyectos avanzados de machine learning e inteligencia artificial (IA). Esta capacidad de integración subraya la importancia de una estrategia de API bien diseñada en el ciclo de vida de los DaaP, que garantice que los datos no solo sean accesibles sino también procesables.

La aplicación del machine learning y la inteligencia artificial dentro de los DaaP permite a las empresas desbloquear conocimientos predictivos y automatizar los procesos de toma de decisiones. Al aprovechar modelos de machine learning entrenados con datos históricos, las empresas pueden anticipar tendencias futuras, optimizar operaciones y crear experiencias personalizadas para los clientes. Este uso avanzado de los datos subraya la naturaleza iterativa de los DaaP, en el que los productos de datos se refinan y mejoran continuamente en función de los nuevos datos, los casos de uso emergentes y el feedback de los consumidores de datos.

DaaP aboga por gestionar el ciclo de vida de un producto de datos, desde el momento de la creación hasta el mantenimiento y su evolución a lo largo del tiempo. Implica una serie de etapas, como la planificación, el desarrollo, la implementación y la iteración, cada una de las cuales requiere una estrecha colaboración entre los equipos de datos, las partes interesadas de la empresa y los consumidores de datos. Este enfoque del ciclo de vida garantiza que los productos de datos sigan siendo pertinentes, valiosos y acordes con los objetivos empresariales.

Para que los datos sean más útiles dentro de una organización, es esencial que los conjuntos de datos sean fáciles de encontrar, fiables y que puedan funcionar bien con otros datos. La esencia de hacer que los datos DaaP sean fácilmente descubribles y direccionables dentro de una organización depende de la implementación de un registro o catálogo centralizado. Este registro debería detallar todos los datos DaaP disponibles, entre ellos metadatos como la propiedad, la fuente y el linaje, lo que permite a los consumidores de datos, ingenieros y científicos localizar de forma eficiente los conjuntos de datos relevantes.

Al instituir objetivos de nivel de servicio (SLO) relativos a la veracidad de los datos y aplicar rigurosas pruebas de limpieza e integridad de datos desde el principio, las organizaciones pueden reforzar la confianza de los usuarios en sus datos. Además, los datos deben ser autodescriptivos y adherirse a los estándares globales de interoperabilidad, lo que permite la integración de datos en varios dominios. El papel de los propietarios e ingenieros de productos de datos es crucial en este ecosistema, ya que definen e impulsan la gestión del ciclo de vida de los datos DaaP para satisfacer a los usuarios y cumplir las normas de calidad. Este enfoque no solo requiere una combinación de habilidades de ingeniería de datos y software, sino que también fomenta una cultura de innovación, intercambio de habilidades y colaboración interfuncional dentro del panorama tecnológico.

DaaP anima a las empresas a considerar todos los datos como productos valiosos, reflejando los principios de los productos basados en el consumidor en la gestión, selección, personalización y entrega de datos. Este enfoque fomenta un flujo continuo de datos de alta calidad desde sus creadores hasta sus consumidores, con el apoyo de herramientas y mentalidades centradas en el cliente. Imagine que los datos son como un producto que vería en las tiendas; bajo una metodología DaaP, una organización debe tratar sus datos con el mismo cuidado y atención que los productos físicos.

Esto significa recopilar y almacenar únicamente datos que sean realmente útiles, garantizar que los datos se presentan de forma clara, organizada y fácil de usar, y asegurarse de que los datos se ajustan al contexto de la industria o el dominio. Cuando estas piezas están en su sitio, los DaaP permiten la distribución de datos de alta calidad dentro de la organización. El aceite se ha procesado y ayuda a hacer funcionar la máquina.

Aplicar un enfoque DaaP dentro de una organización significa alinear a las partes interesadas y mantenerlas informadas, desarrollar una mentalidad en la que los datos se traten y gestionen como un producto de alta calidad y significa crear o invertir en herramientas de autoservicio, uno de los principios fundamentales del concepto de malla de datos: un enfoque en desarrollo para la arquitectura de datos descentralizada.

La adopción de los DaaP presenta desafíos, como las preocupaciones sobre la protección de los datos, la resistencia organizativa al cambio y la necesidad de una mayor alfabetización en materia de datos entre los empleados. Superar estos obstáculos requiere planificación estratégica, compromiso organizativo e inversiones en tecnología y talento.

Navegar y cumplir con las regulaciones de protección de datos en un mercado global que contiene diferentes regiones y reglas es un obstáculo importante que superar. Las organizaciones necesitan experiencia y recursos para garantizar que sus productos DaaP cumplan con las estrictas regulaciones en cada ubicación.

Las vulneraciones de datos pueden ser noticia y los consumidores son cada vez más conscientes del uso que las organizaciones hacen de sus datos. Generar confianza a través de prácticas transparentes de manejo de datos y una documentación clara sobre el uso de datos dentro de DaaP es crucial para ganarse la confianza de la base de usuarios. Cualquier organización que considere los DaaP necesita medidas de seguridad sólidas para proteger los datos de infracciones y accesos no autorizados. Esto incluye la implementación de cifrado, controles de acceso y marcos de gobierno de datos.

El éxito de los DaaP no se trata solo de tener el hardware y el software adecuados; como siempre con las nuevas herramientas viene la resistencia al cambio. Las culturas organizativas establecidas pueden resistirse a los cambios en la propiedad, el intercambio y la accesibilidad de los datos introducidos por DaaP. Las estrategias eficaces de gestión del cambio y una comunicación clara son esenciales para garantizar que los distintos departamentos estén dispuestos y sean capaces de compartir sus datos sin temor a perder el control o la ventaja competitiva. Fomentar la colaboración y demostrar los beneficios de los DaaP para todas las partes interesadas es vital y deben establecerse roles y responsabilidades claros para el gobierno de datos y la propiedad del producto para evitar confusión e inacción.

El reto humano de una iniciativa DaaP exitosa no termina ahí. Dado que los DaaP requieren que toda la organización tenga en cuenta los datos, las organizaciones pueden encontrarse con empleados que carecen de conocimientos básicos de datos. Es posible que los empleados de distintos niveles no comprendan del todo los aspectos técnicos y el valor empresarial de los DaaP; los programas de formación y educación pueden ayudar a salvar esta distancia. Muchos empleados pueden tener dificultades para analizar y extraer información de los productos DaaP, pero proporcionar herramientas fáciles de usar y formación en alfabetización de datos puede empoderarlos. Además, los equipos técnicos necesitan traducir información compleja sobre datos en información procesable para las partes interesadas no técnicas.