Was sind Daten als Produkt (DaaP)?

Obwohl sie miteinander verwandt sind, dienen DaaP und Datenprodukte unterschiedlichen Zwecken innerhalb der Datenverwaltung.

DaaP ist eine ganzheitliche Methodik für die Datenverwaltung, insbesondere im Zusammenhang mit den Prinzipien des Datengeflechts, die darauf abzielt, Daten als marktfähiges Produkt zu behandeln, das verschiedenen Benutzern innerhalb und außerhalb des Unternehmens zur Verfügung gestellt werden kann. DaaP enthält den Code, seine Daten und Metadaten sowie die gesamte für den Betrieb erforderliche Infrastruktur.

Eine Plattform für Erkenntnisse über Kunden, die für ein Einzelhandelsunternehmen entwickelt wurde, ist ein gutes Beispiel für DaaP. Die Plattform sammelt Kundendaten über mehrere Berührungspunkte hinweg (z. B. Einkäufe im Geschäft, Online-Einkaufsverhalten, Interaktionen mit dem Kundenservice und Aktivitäten in den sozialen Medien) und erstellt so ein umfassendes Bild der Vorlieben, Verhaltensweisen und Kaufmuster jedes einzelnen Kunden.

Im Gegensatz dazu konzentrieren sich Datenprodukte auf die Nutzung von Daten, um umsetzbare Erkenntnisse und Lösungen zu liefern, wie z. B. Analyse-Dashboards und Vorhersagemodelle. Sie befassen sich mit spezifischen Problemen, werden durch ausgefeilte Datenverarbeitungstechniken unterstützt und richten sich an eine weite Zielgruppe, darunter Produktmanager, Data Scientists und Endnutzer. Beispiele für Datenprodukte können ein Dashboard für Geschäftsanalysen, ein Chatbot oder sogar ein Empfehlungssystem sein, wie Sie es beim Einkauf bei Amazon sehen.

Beide Konzepte basieren auf einer gemeinsamen Grundlage der Datenverwaltung und -steuerung, mit dem letztendlichen Ziel, den intrinsischen Wert von Daten zu maximieren.

Als Unternehmen begannen, in fortschrittliche Technologien für Datenspeicher zu investieren, damit Daten für die Gewinnung von Erkenntnissen und die Automatisierung von Entscheidungen allgemein zugänglich und nutzbar werden, sahen sich Dateningenieure mit verschiedenen Herausforderungen konfrontiert, da die Lösungen nicht wie beabsichtigt skalierbar waren. Da die Daten oft fehlerhaft, unvollständig und nicht aussagekräftig oder wahrheitsgemäß waren und die Ingenieure nur sehr wenig über die Quelldomänen wussten, aus denen diese Daten stammten, hatten sie Schwierigkeiten, Fehler zu korrigieren, die sie nicht kannten oder nicht verstanden.

Dateningenieure erkannten die Notwendigkeit, ihren Ansatz bei der Entwicklung moderner verteilter Architekturen zu ändern. Sie erkannten die Bedeutung der Einführung einer neuen Methodik, die die Architektur um die spezifischen Geschäftsbereiche herum organisiert, die sie unterstützen soll. Dieser Ansatz umfasst das Produktdenken, um eine funktionale und benutzerfreundliche Self-Service-Dateninfrastruktur zu entwickeln.¹

Beim Produktdenken geht es um mehr als nur um die Merkmale eines Produkts. Es geht um die Schaffung sinnvoller Lösungen, die bei den Nutzern Anklang finden und sich auf dem Markt von der Konkurrenz abheben. Diese Philosophie beeinflusst jede Phase des Produktentwicklungsprozesses, von der Ideenfindung bis hin zur Markteinführung und Iteration. Die Ingenieure erkannten, dass sie durch die Behandlung von Daten als Produkt deren Nutzung und Wert innerhalb des Unternehmens erheblich steigern konnten.

Durch die Einführung eines Ansatzes, der Datensätze als Produkte behandelt, werden Teams für bestimmte Bereiche gebildet, die für die Verwaltung und Verbreitung ihrer Daten im gesamten Unternehmen zuständig sind. So kann die Benutzererfahrung für die Hauptnutzer dieser Daten – in der Regel Data Scientist und -ingenieure – besser in den Mittelpunkt gestellt werden.

Diese Domain-Teams teilen ihre Daten über APIs (Programmierschnittstelle), die von einer umfassenden Dokumentation, robusten Testumgebungen und klaren Leistungsindikatoren begleitet werden.

Ein erfolgreiches DaaP muss die folgenden Anforderungen erfüllen:

1. Leicht zu finden
2. Adressierbar
3. Vertrauenswürdig
4. Gut dokumentiert
5. Kann mit anderen Datenprodukten verwendet werden
6. Sicher

Das bedeutet, dass Daten in einer DaaP-Methodik leicht auffindbar, zuverlässig, eindeutig in ihrer Darstellung und mit anderen Daten integrierbar sein müssen und vor unbefugtem Zugriff geschützt werden müssen.

Stellen Sie sich DaaP wie Flugreisen vor, und jede Information ist ein Flugreisender: Unternehmen und Benutzer müssen wissen, woher jeder Datenpunkt stammt, welche Transformationen er durchlaufen hat und wo er letztendlich landen soll. Dies wird als Datenabstammung bezeichnet und ist ein entscheidendes Element für eine effektive DaaP-Einführung. Durch die Verwendung von Tools wie IBM InfoSphere, AWS Glue oder Cloudera Data Hub können Unternehmen Metadaten verwalten und Datenverläufe nachverfolgen, um Transparenz zu gewährleisten und Verwirrung zu vermeiden.

Sobald jeder Reisende ordnungsgemäß überprüft wurde, besteigen sie das Flugzeug. Genauso wie die Fluggesellschaft sicherstellen muss, dass das Flugzeug groß und stabil genug ist, um die Passagiere zu befördern, müssen Unternehmen eine skalierbare Infrastruktur verwenden, um wachsende Datenmengen und mehrere Zugriffsanfragen zu bewältigen. Je nach den spezifischen Geschäftsanforderungen und Marktsegmenten eines Unternehmens gibt es eine Reihe von cloudbasierten Plattformen, Open-Source-Lösungen und kommerziellen Plattformen, aus denen Unternehmen wählen können.

Stellen Sie sich nun vor, Sie benötigen Fluginformationen, aber das System ist ausgefallen. Dies untergräbt das Vertrauen der Reisenden und lässt eine Fluggesellschaft als unzuverlässig und ineffizient erscheinen. Genau aus diesem Grund müssen die Tools von DaaP stets zuverlässig funktionieren. Aus diesem Grund müssen Unternehmen auch klare Pläne und Berichte zur Datenwiederherstellung und Redundanz vorlegen.

Ohne Sicherheit gibt es keine Flugreisen und dasselbe gilt für DaaP. Sicherheitsfunktionen wie rollenbasierte Zugriffskontrolle, Datenverschlüsselung und Einbruchserkennungssysteme schützen sensible Daten und gewährleisten die Einhaltung von Vorschriften wie der DSGVO und dem HIPAA. Governance-Praktiken, einschließlich der Überwachung der Datenqualität, Katalogisierung und des Change Managements, stellen sicher, dass die Daten des Unternehmens zuverlässig und zugänglich sind.

Das Herzstück von DaaP ist die sorgfältige Orchestrierung von Datensätzen. Diese Datensätze werden durch Data-Engineering-Verfahren kuratiert, die die Planung, den Aufbau und die Verwaltung umfangreicher Datenpipelines umfassen. Diese Pipelines transportieren Daten von Datenquellen durch einen End-to-End-Prozess und wandeln Rohdaten in strukturierte, hochwertige Informationen um, die in Data Warehouses oder Data Lakes gespeichert werden. Datenplattformen bilden die Grundlage für diese Vorgänge und stellen die Infrastruktur und die Tools bereit, die Datenteams für die effiziente Durchführung von Datenanalysen und datenwissenschaftlichen Aufgaben benötigen.

Datenmodelle und -schemata sind in diesem Zusammenhang von entscheidender Bedeutung, da sie definieren, wie Daten im Data Warehouse oder Data Lake organisiert, gespeichert und miteinander verknüpft werden. Sie stellen sicher, dass die Daten für die Datennutzer – die Geschäftsanalysten, Data Scientists und Anwendungsentwickler, die auf der Grundlage dieser Daten Erkenntnisse gewinnen und Anwendungen erstellen – auffindbar, zugänglich und nutzbar sind. SQL (Structured Query Language) ist nach wie vor ein zentrales Tool für die Interaktion mit Daten und ermöglicht es Datennutzern, Datensätze abzufragen, zu bearbeiten und zu analysieren, um ihren spezifischen Anforderungen gerecht zu werden.

Datenteams verwenden Metriken, um die Qualität, Leistung und den Wert des Datenprodukts zu bewerten. Diese Metriken dienen als Leitfaden für Iterations- und kontinuierliche Verbesserungsprozesse und stellen sicher, dass das Datenprodukt als Reaktion auf das Feedback der Datennutzer und Änderungen der Geschäftsanforderungen weiterentwickelt wird.

APIs sind die Kanäle, über die Datenprodukte an Endbenutzer und Anwendungen geliefert werden. Sie erleichtern den Zugang und ermöglichen es den Datennutzern, Daten in verschiedenen Anwendungsfällen zu integrieren und zu nutzen – von der operativen Berichterstattung bis hin zu fortgeschrittenen Projekten im Bereich maschinelles Lernen und künstliche Intelligenz (KI). Diese Integrationsfähigkeit unterstreicht die Bedeutung einer gut durchdachten API-Strategie im DaaP-Lebenszyklus, die sicherstellt, dass Daten nicht nur zugänglich, sondern auch umsetzbar sind.

Durch die Anwendung von maschinellem Lernen und KI im Rahmen von DaaP können Unternehmen prädiktive Erkenntnisse gewinnen und Entscheidungsprozesse automatisieren. Durch die Nutzung von Modellen für maschinelles Lernen, die auf historischen Daten basieren, können Unternehmen zukünftige Trends antizipieren, Betriebsabläufe optimieren und personalisierte Customer Experiences schaffen. Diese fortgeschrittene Nutzung von Daten unterstreicht den iterativen Charakter von DaaP, bei dem Datenprodukte auf der Grundlage neuer Daten, neuer Anwendungsfälle und des Feedbacks von Datennutzern kontinuierlich verfeinert und verbessert werden.

DaaP setzt sich für die Verwaltung des Lebenszyklus eines Datenprodukts ein, von der Erstellung über die Wartung bis hin zur Weiterentwicklung im Laufe der Zeit. Es umfasst eine Reihe von Phasen, darunter Planung, Entwicklung, Bereitstellung und Iteration, die jeweils eine enge Zusammenarbeit zwischen Datenteams, Stakeholdern aus der Wirtschaft und Datennutzer erfordern. Dieser Lebenszyklusansatz stellt sicher, dass Datenprodukte relevant und wertvoll bleiben und mit den Geschäftszielen übereinstimmen.

Um Daten innerhalb eines Unternehmens nützlicher zu machen, ist es wichtig, dass Datensätze leicht zu finden und vertrauenswürdig sind und gut mit anderen Daten zusammenarbeiten können. Um DaaP-Daten in einem Unternehmen leicht auffindbar und zugänglich zu machen, ist die Implementierung eines zentralen Registers oder Katalogs unerlässlich. Dieses Register sollte alle verfügbaren DaaP-Daten detailliert auflisten, einschließlich Metadaten wie Eigentumsverhältnisse, Quelle und Herkunft, damit Datennutzer, Ingenieure und Wissenschaftler relevante Datensätze effizient finden können.

Durch die Einführung von Service Level Objectives (SLOs) in Bezug auf die Wahrhaftigkeit von Daten und die Anwendung strenger Datenbereinigungs- und Integritätstests von Anfang an können Unternehmen das Vertrauen der Benutzer in ihre Daten stärken. Außerdem müssen die Daten selbstbeschreibend sein und globalen Standards für die Interoperabilität entsprechen, um eine Datenintegration über verschiedene Bereiche hinweg zu ermöglichen. Die Rolle der Datenprodukteigentümer und -ingenieure ist in diesem Ökosystem von entscheidender Bedeutung, da sie das Lebenszyklusmanagement von DaaP-Daten definieren und vorantreiben, um sowohl die Benutzer zufriedenzustellen als auch Qualitätsstandards zu erfüllen. Dieser Ansatz erfordert nicht nur eine Mischung aus Daten- und Software-Engineering-Fähigkeiten, sondern fördert auch eine Kultur der Innovation, des Austauschs von Fähigkeiten und der funktionsübergreifenden Zusammenarbeit innerhalb der Technologielandschaft.

DaaP ermutigt Unternehmen, alle Daten als wertvolle Produkte zu betrachten, die verbraucherorientierte Produktprinzipien in der Datenverwaltung, -auswahl, -anpassung und -bereitstellung widerspiegeln. Dieser Ansatz fördert einen nahtlosen Fluss hochwertiger Daten von den Erstellern zu den Verbrauchern, unterstützt durch kundenorientierte Tools und Denkweisen. Stellen Sie sich vor, Daten sind wie ein Produkt, das Sie in den Geschäften sehen würden. Nach der DaaP-Methode sollte ein Unternehmen seine Daten mit der gleichen Sorgfalt und Aufmerksamkeit behandeln wie physische Produkte.

Das bedeutet, dass nur Daten gesammelt und gespeichert werden, die wirklich nützlich sind, und dass sichergestellt wird, dass die Daten klar, übersichtlich und benutzerfreundlich dargestellt werden und dass sie zum Kontext der Branche oder des Bereichs passen. Wenn diese Teile vorhanden sind, ermöglicht DaaP die Verteilung hochwertiger Daten innerhalb des Unternehmens. Das Öl wurde aufbereitet und trägt zum Betrieb der Maschine bei.

Die Anwendung eines DaaP-Ansatzes in einem Unternehmen erfordert, die Stakeholder aufeinander abzustimmen und informiert zu halten. Es geht auch darum, eine Denkweise zu etablieren, bei der Daten als wertvolles Produkt behandelt und verwaltet werden. Zudem ist es wichtig, in Self-Service-Tools zu investieren oder sie zu entwickeln. Dies entspricht einem der zentralen Prinzipien des Data Mesh-Konzepts, einem aufstrebenden Ansatz für eine dezentrale Datenarchitektur.

Die Einführung von DaaP bringt Herausforderungen mit sich, darunter Bedenken hinsichtlich des Datenschutzes, organisatorischer Widerstand gegen Veränderungen und die Notwendigkeit einer besseren Datenkompetenz der Mitarbeiter. Um diese Herausforderungen zu meistern, sind strategische Planung, die Unterstützung der Organisation und Investitionen in Technologie und Talente erforderlich.

Die Navigation und Einhaltung von Datenschutzbestimmungen auf einem globalen Marktplatz, der verschiedene Regionen und Regeln umfasst, ist eine große Hürde, die es zu überwinden gilt. Unternehmen benötigen Fachwissen und Ressourcen, um sicherzustellen, dass ihre DaaP-Produkte an jedem Standort strengen Vorschriften entsprechen.

Datenschutzverletzungen können Schlagzeilen machen und Verbraucher sind sich zunehmend bewusst, wie Unternehmen ihre Daten verwenden. Um das Vertrauen der Nutzerbasis zu gewinnen, ist es von entscheidender Bedeutung, durch transparente Datenverarbeitungspraktiken und eine klare Dokumentation der Datennutzung innerhalb von DaaP Vertrauen aufzubauen. Jedes Unternehmen, das DaaP in Betracht zieht, benötigt robuste Sicherheitsmaßnahmen, um Daten vor Sicherheitsverletzungen und unbefugtem Zugriff zu schützen. Das umfasst die Implementierung von Verschlüsselung, Zugriffskontrollen und Frameworks für die Data Governance.

Für eine erfolgreiche DaaP-Implementierung braucht man nicht nur die richtige Hard- und Software. Wie immer, wenn es um neue Tools geht, gibt es auch hier Widerstand gegen Veränderungen. Etablierte Unternehmenskulturen könnten sich gegen Änderungen in Bezug auf Dateneigentum, -austausch und -zugänglichkeit wehren, die durch DaaP eingeführt werden. Effektive Strategien für das Änderungsmanagement und eine klare Kommunikation sind unerlässlich, um sicherzustellen, dass verschiedene Abteilungen bereit und in der Lage sind, ihre Daten zu teilen, ohne einen Verlust der Kontrolle oder des Wettbewerbsvorteils befürchten zu müssen. Die Förderung der Zusammenarbeit und die Verdeutlichung der Vorteile von DaaP für alle Stakeholder ist von entscheidender Bedeutung. Zusätzlich müssen klare Rollen und Verantwortlichkeiten für die Data Governance und die Produktverantwortung festgelegt werden, um Verwirrung und Untätigkeit zu vermeiden.

Die menschliche Herausforderung einer erfolgreichen DaaP-Initiative endet hier jedoch nicht. DaaP erfordert, dass das gesamte Unternehmen auf den Datenschutz achtet. Für Unternehmen kann es daher zu Problemen kommen, wenn Mitarbeiter nicht über die nötige Datenkompetenz verfügen. Mitarbeiter auf verschiedenen Ebenen haben möglicherweise kein umfassendes Verständnis für die technischen Details und den geschäftlichen Nutzen von DaaP. Schulungs- und Weiterbildungsprogramme können dazu beitragen, diese Lücke zu schließen. Viele Mitarbeiter könnten Schwierigkeiten haben, DaaP-Produkte zu analysieren und Erkenntnisse daraus zu gewinnen. Durch die Bereitstellung benutzerfreundlicher Tools und Schulungen zur Datenkompetenz können sie jedoch entsprechend gefördert werden. Darüber hinaus müssen technische Teams komplexe Erkenntnisse aus Daten in umsetzbare Informationen für nicht-technische Stakeholder übersetzen.