Was ist Data Intelligence? 

Anders ausgedrückt: Data Intelligence hilft Unternehmen, wichtige Fragen zu ihren Daten zu beantworten. Dazu gehören:

• Über welche Daten verfügt das Unternehmen? Warum gibt es diese Daten?

• Woher stammen die Daten und wo sind sie gespeichert? 

• Wer nutzt Daten? Wie werden sie genutzt – und wie sollten sie genutzt werden, um die besten Ergebnisse zu erzielen?

• Wie sind die verschiedenen Datensätze miteinander verbunden?

Data Intelligence beantwortet diese Fragen durch die Verwendung vernetzter Prozesse und Tools zur Automatisierung und Optimierung der Metadatenverwaltung, Datenerkennung, Data Governance, Qualitätssicherung, Datenanalyse und anderer Aktivitäten.

Laut dem IBM Data Differentiator werden bis zu 68 % der Unternehmensdaten nie analysiert. Aufgrund der schieren Menge an Daten, die ihnen zur Verfügung stehen, haben Unternehmen oft Schwierigkeiten, Qualitätskontrollen durchzuführen und Governance-Richtlinien durchzusetzen. Benutzer sind nicht immer in der Lage, die richtigen Daten für ihre Arbeit zu finden – und wissen vielleicht nicht einmal, ob es sie gibt. 

Data Intelligence soll dieses Problem lösen, indem es bestehende Tools – wie Datenkataloge, Datenabstammungslösungen, Datenmarktplätze, künstliche Intelligenz (KI) und maschinelles Lernen (ML) – in einem einzigen, umfassenden Prozess vereint.  

Durch diesen einheitlichen Prozess erhalten Unternehmen einen besseren Einblick in ihre Daten und erfahren, wie sie den größtmöglichen Nutzen daraus ziehen können. Auf diese Weise ermöglicht DI Self-Service-Analysen und unterstützt wichtige Initiativen wie Business Intelligence und generative KI.

Data Management ist eine umfassende Disziplin, die den gesamten Lebenszyklus von Daten von der Erstellung bis zur Entsorgung überwacht. Während sich Data Management mit den praktischen Aspekten der Erfassung, Speicherung und Verarbeitung von Daten befasst, geht es bei Data Intelligence um das Verständnis dieser Daten.

Data Intelligence ergänzt das Data Management, indem sie Unternehmen die Erkenntnisse liefert, die sie benötigen, um fundiertere Entscheidungen über die Erfassung, Sicherung, Bereinigung und gemeinsame Nutzung von Daten zu treffen.

Seit den Anfängen des Web 2.0 und dem Aufkommen des Cloud Computing sammeln Unternehmen mehr Daten (Kundendaten, operative Daten, Transaktionsdaten) aus mehr Datenquellen (Web-Apps, Geschäftssysteme, Internet der Dinge-Geräte). Die Entwicklung der generativen KI hat den Wert – und die Menge – all dieser Daten noch weiter erhöht.

Die Verwaltung dieser Daten – nachzuverfolgen, wie sie verwendet werden und wie sie sich verändern, sie sicher zu speichern, den Zugriff zu erleichtern und sie bereinigt und aktuell zu halten – kann schwierig sein. Wenn Daten nicht ordnungsgemäß verwaltet werden, kann es für Datennutzer schwierig sein, die benötigten Daten zu finden, geschweige denn, umsetzbare Erkenntnisse daraus zu gewinnen.

Unternehmen verfügen seit langem über Data Management Möglichkeiten – Datenabstammungstools zur Abbildung von End-to-End-Datenlebenszyklen, Governance-Tools zur Definition von Nutzungsrichtlinien, Tools zur Datenprofilierung und -bereinigung und mehr. Diese Fähigkeiten waren jedoch oft fragmentiert und auf unterschiedliche Produkte und Funktionen verteilt.  

Die wichtigste Innovation der Disziplin Data Intelligence besteht darin, diese Tools mit fortschrittlichen KI- und ML-Technologien zusammenzuführen, entweder auf einer einzigen Plattform oder in einem eng integrierten Daten-Stack.  

Laut IDC haben sich viele der aktuellen Data-Intelligence-Plattformen aus Datenkatalog-Tools entwickelt. Seit 2020 haben Anbieter ihre Kataloge zunehmend mit ergänzenden Lösungen wie Datenabstammungstools und Datenmarktplätzen gebündelt oder diese Funktionen direkt in ihre Kataloge integriert.¹

Data Intelligence ist ein sich entwickelnder Bereich, in dem verschiedene Anbieter und Anwender ihre eigenen Vorstellungen von dieser Disziplin präsentieren. Die meisten sind sich jedoch einig, dass Data Intelligence fünf Kernfunktionen umfasst:

• Metadata Management
• Data Lineage
• Data Governance
• Datenqualität.
• Datenintegration

Metadaten sind Informationen über einen Datenpunkt oder Datensatz, z. B. der Autor oder die Größe der Datei. Metadata Management ist eine grundlegende Voraussetzung für Data-Intelligence-Initiativen, da gut verwaltete Metadaten Benutzern helfen, sich in komplexen Datensystemen leicht zurechtzufinden.

Metadata Management hilft beim Organisieren, Beschriften, Filtern und Sortieren von Datensätzen, damit die Benutzer ein vollständiges Bild der ihnen zur Verfügung stehenden Daten erhalten und die benötigten Informationen schnell abrufen können.

Aktives Metadata Management ist für Data Intelligence besonders wichtig. Während das traditionelle Metadata Management weitgehend manuell erfolgt, nutzt das aktive Metadata Management KI und ML, um die Verarbeitung von Metadaten zu automatisieren.

Wenn Daten transformiert und verwendet werden, können sich ihre Metadaten ändern. Das aktive Metadata Management verfolgt diese Änderungen, aktualisiert Metadaten automatisch und verwendet sie, um Empfehlungen und Warnmeldungen zu generieren. Auf diese Weise kann sie die Datenerkennung optimieren, das Vertrauen in Daten verbessern und Datenschutz und Governance in großem Maßstab ermöglichen.

Unter Data Lineage versteht man die Verfolgung des Datenflusses im Laufe der Zeit. Sie bietet ein klares Verständnis darüber, woher die Daten stammen, wie sie sich verändert haben und wohin sie letztendlich in der Datenpipeline gelangt sind.

Durch das Data Lineage können Benutzer nachvollziehen, wie sich Daten im Laufe ihres Lebenszyklus ändern, wodurch Unternehmensdaten zuverlässiger werden. Darüber hinaus unterstützt sie Unternehmen dabei, Fehler zu erkennen, Abhängigkeiten zu identifizieren und vorherzusehen, wie sich Änderungen an einem Datensatz auf umfassendere Unternehmensabläufe und IT-Systeme auswirken könnten.

Data Governance trägt dazu bei, Datenintegrität und Datensicherheit zu gewährleisten, indem Richtlinien, Standards und Verfahren für die Erfassung, das Eigentum, die Speicherung, die Verarbeitung und die Verwendung von Daten definiert und umgesetzt werden.     

Data Governance trägt dazu bei, sichere, qualitativ hochwertige Daten zu pflegen, die leicht zugänglich sind und den relevanten Regeln und Vorschriften entsprechen. Bei Data Intelligence-Bemühungen helfen Governancerichtlinien den Benutzern zu verstehen, wie sie Daten verwenden können und sollten.  

So können Governance-Richtlinien beispielsweise verhindern, dass Data Scientists sensible Kundendaten in KI-Modelle einspeisen, was gegen Datenschutzgesetze verstößt.  

Tools und Verfahren zur Gewährleistung der Datenqualität helfen dabei, die Genauigkeit, Vollständigkeit, Gültigkeit, Konsistenz, Einzigartigkeit, Aktualität und Gebrauchstauglichkeit von Datensätzen sicherzustellen. Die Bemühungen um Datenqualität stärken das Vertrauen der Nutzer in die Schlussfolgerungen und Erkenntnisse, die sie aus Unternehmensdaten ziehen.

DI-Initiativen umfassen oft auch Master Data Management (MDM). Stammdaten sind die Kerninformationen eines Unternehmens über wichtige Geschäftsentitäten wie Kunden, Produkte und Standorte. MDM stellt durch Validierung, Zusammenführung, Deduplizierung und Anreicherung sicher, dass diese Daten sauber und konsistent sind.  

Datenintegration ist der Prozess der Kombination und Harmonisierung von Daten aus verschiedenen Quellen, um deren Nutzung für analytische, operative und entscheidungsrelevante Zwecke zu erleichtern. Integration kann die Standardisierung von Datenformaten, die Umwandlung von Daten in besser verwendbare Formate und die Zusammenführung von Daten aus verteilten Quellen in gemeinsam genutzten Data Lakes, Data Warehouses oder Data Lakehouses umfassen. 

Die Datenintegration optimiert den Datenzugriff und die gemeinsame Nutzung von Daten. Dadurch können Datennutzer leichter auf die benötigten Daten zugreifen und zusammenarbeiten.

Einige Anbieter bieten Data-Intelligence-Plattformen an, die verschiedene Funktionen in einer einzigen Lösung vereinen. Andere bieten integrierte Portfolios mit ergänzenden Lösungen an. In beiden Fällen umfassen die grundlegenden technischen Tools, die den meisten Data-Intelligence-Initiativen zugrunde liegen, Folgendes:

• Datenkataloge
• Data Lineage nTools
• Data Marketplaces und Data Product Hubs 
• Künstliche Intelligenz und Machine Learning
• Data Lakes, Data Warehouses und Data Lakehouses

Ein Datenkatalog verwendet Metadaten, um ein detailliertes, durchsuchbares Inventar aller Datenbestände in einem Unternehmen zu erstellen. Das macht es Datennutzern leicht, die am besten geeigneten Daten für jeden Analyse- oder Geschäftszweck zu finden. 

Über die Inventarisierung von Daten hinaus bieten viele moderne Datenkataloge folgende Funktionen:

• Data Governance-Mechanismen, einschließlich der Möglichkeit, Richtlinien zu Datennutzung und Datenschutz festzulegen und durchzusetzen, etwa durch die automatische Schwärzung vertraulicher Informationen

• Aktives Metadata Management durch den Einsatz von KI und ML zur automatischen Generierung von Metadaten und zur Aktualisierung von Datensätzen bei Datenänderungen

• Business-Glossare, die es Unternehmen ermöglichen, Standarddefinitionen und Frameworks für Schlüsselbegriffe, Konzepte und Kernentitäten im gesamten Unternehmen zu erstellen

• Datenqualitätskontrollen wie Datenprofilierung, -bereinigung, -validierung und Datenqualitätsmetriken

Data Lineage Tools bilden Datenflüsse, Transformationen und Abhängigkeiten automatisch ab und bieten wichtige Einblicke in Datenlebenszyklen. Mit Data Lineage Lösungen können Unternehmen sehen, woher Daten stammen, wie sie sich durch das IT-Ökosystem des Unternehmens bewegen, wie sie sich verändern und wie sie genutzt werden.

Data Marketplaces, auch Data Product Hubs genannt, sind digitale Plattformen, auf denen Benutzer auf Datenprodukte zugreifen und diese teilen können.  

Datenprodukte sind vorgefertigte, vorverarbeitete, leicht verwendbare Datensätze oder datenbezogene Assets, die zur Unterstützung von BI, Analyse und Data Science verwendet werden können. Beispiele für Datenprodukte sind kuratierte Datensätze, Analyse-Dashboards, Modelle für maschinelles Lernen, spezialisierte Anwendungen und Datenvisualisierungen.

Data Marketplaces zentralisieren und optimieren die Erstellung, Kuratierung, Verwaltung und gemeinsame Nutzung von Datenprodukten. Sie tragen dazu bei, die Datenqualität und die Einhaltung integrierter Governance-Frameworks sicherzustellen. Außerdem beseitigen sie Datensilos, indem sie die Bereitstellung von Datenprodukten automatisieren und die gemeinsame Nutzung von Datenprodukten aus verteilten Quellen in großem Umfang ermöglichen.

KI- und ML-Tools, neue generative KI-Anwendungen und Large Language Models (LLMs) tragen dazu bei, Data-Intelligence-Praktiken zu verbessern, die über das traditionelle Data Management hinausgehen. Ob als eigenständige Lösungen oder in andere Tools integriert können KI und ML die Daten- und Metadatenanreicherung automatisieren, das Data Mining optimieren und ein fortschrittliches KI Data Management ermöglichen.

Beispielsweise kann ein integriertes LLM automatisch Metadaten in einem Datenkatalog generieren und aktualisieren und so benutzerfreundlichere Erklärungen liefern, um die Daten für eine größere Anzahl an Stakeholdern leichter zugänglich zu machen. Mit Benutzeroberflächen in natürlicher Sprache auf Basis von LLMs können Benutzer Datensätze abfragen und Erkenntnisse gewinnen, ohne dass sie Structured Query Language (SQL) oder andere spezielle Sprachen verwenden müssen.

KI-Tools können auch bei der Durchsetzung von Governance-Richtlinien und Qualitätskontrollen helfen, etwa durch das Auffinden und Klassifizieren sensibler Daten oder die Identifizierung doppelter Datensätze.  

Data Lakes, Data Warehouses und Data Lakehouses sind Data Management- und Dataspeicherungslösungen mit unterschiedlichen Merkmalen und Funktionen.

• Data Warehouses aggregieren, bereinigen und bereiten Daten auf, sodass sie für Business Intelligence und Datenanalyse genutzt werden können.

• Data Lakes speichern große Mengen an Rohdaten zu geringen Kosten.

• Data Lakehouses kombinieren die flexible Datenspeicherung eines Lake und die leistungsstarken Analysefunktionen eines Warehouse in einer einzigen Lösung.

Warehouses, Lakes und Lakehouses unterstützen die Datenintegration, indem sie es Unternehmen ermöglichen, Daten aus verschiedenen Quellen in zentralen Data Warehouses zusammenzuführen. Sie erleichtern auch den Zugriff auf diese Daten und ihre Verwendung für Analyse-, BI-, KI-, ML- und Data-Science-Anwendungen.

Data Intelligence hilft Unternehmen dabei:

• ihre Daten mithilfe umfassender Datenkataloge, Data Lineage Tools und aktives Metadata Management zu verstehen

• den Datenzugriff über durchsuchbare Datenkataloge, integrierte Datenspeicher und zentralisierte Data Product Hubs zu vereinfachen

• die Datenqualität durch automatisch aktualisierte Metadaten sowie Datenprofilierung und -bereinigung zu gewährleisten

• die Datennutzung durch definierte Governance-Richtlinien und Data Product Hubs, die kuratierte Assets für bestimmte Verwendungszwecke hosten, zu steuern

Das Ergebnis sind folgende Vorteile für Unternehmen:  

Data Intelligence fördert die Datenkompetenz und ermöglicht Self-Service-Analysen, indem es den Benutzern die Erkenntnisse liefert, die sie benötigen, um Unternehmensdaten zu verstehen und zu nutzen. Stakeholder auf allen Ebenen und in allen Rollen können Daten nutzen, um fundiertere Entscheidungen zu treffen.

Der IBM Data Differentiator berichtet, dass 82 % der Unternehmen Datensilos haben, die wichtige Workflows behindern. Data Intelligence hilft dabei, diese Silos zu beseitigen und die Komplexität der Dateninfrastruktur durch zentralisierte, einheitliche Datenkataloge und -marktplätze zu reduzieren.

Benutzer im gesamten Unternehmen können so die richtigen Daten für ihre Zwecke finden, wodurch die betriebliche Effizienz optimiert und die Zusammenarbeit gefördert wird.

Laut Gartner verlieren Unternehmen durchschnittlich 12,9 Millionen US-Dollar aufgrund schlechter Datenqualität.² Durch Datenabstammung, Datenprofilierung und Governance sorgt Data Intelligence für ein hohes Maß an Datenqualität, damit Unternehmen einen höheren Nutzen aus ihren Daten ziehen können.

Data Intelligence integriert Governance-Frameworks in wichtige Datenzugriffspunkte wie Datenkataloge und Datenmarktplätze. Dadurch wird sichergestellt, dass Datennutzer Daten nur für autorisierte Zwecke verwenden, um sie vor Hacking, Diebstahl, Missbrauch und Nichteinhaltung von Vorschriften zu schützen. Governance ist für stark regulierte Branchen wie das Finanz- und Gesundheitswesen besonders wichtig.

Laut dem IBM Institute for Business Value sind 72 % der erfolgreichsten CEOs der Meinung, dass der Einsatz der fortschrittlichsten generativen KI-Tools einem Unternehmen einen Wettbewerbsvorteil verschafft. Und für fortschrittliche generative KI werden riesige Mengen hochwertiger, leicht zugänglicher Daten benötigt.

Data Intelligence hilft, die Datenqualität zu verbessern, den Zugriff zu erleichtern und Governance-Richtlinien durchzusetzen, um sicherzustellen, dass Daten nur für die richtigen Zwecke verwendet werden – ein zentraler Bestandteil verantwortungsvoller KI. 

Ein besonderer Anwendungsfall für Data Intelligence liegt im Bereich der KI-Modellintelligenz. Unter Model Intelligence versteht man das Verstehen, Verwalten und Steuern der Lebenszyklen der verschiedenen KI- und ML-Modelle im Portfolio eines Unternehmens.

Anstatt sich auf ein einziges Modell zu verlassen, nutzen viele Unternehmen heute verschiedene Modelle für unterschiedliche Zwecke. Data-Intelligence-Initiativen geben Unternehmen die Transparenz, die sie benötigen, um aus den richtigen Gründen die richtigen Daten für die richtigen Modelle auszuwählen.  

Data Intelligence kann Unternehmen insbesondere bei der Auswahl der richtigen Daten helfen, sowohl im Hinblick auf die Governance (Sind diese Daten für die Verwendung in diesem Modell autorisiert?) als auch auf die Eignung (Sind diese Daten genau und relevant genug für dieses Modell?).

Darüber hinaus integrieren viele Anbieter Modellverwaltungsfunktionen in ihre Data-Intelligence-Angebote. Einige Datenkataloge führen beispielsweise Modellkatalogfunktionen ein, die es ermöglichen, die KI- und ML-Modelle eines Unternehmens auf die gleiche Weise zu inventarisieren wie Unternehmensdaten. 

Data Intelligence ist eine Möglichkeit, die Daten eines Unternehmens zu verstehen: ihre entscheidenden Merkmale, wie auf sie zugegriffen werden kann und wie sie genutzt werden können. Datenanalyse, Data Science und Business Intelligence sind Möglichkeiten zur Nutzung dieser Daten.

• Die Datenanalyse extrahiert umsetzbare Erkenntnisse aus Daten, um bessere Entscheidungen treffen zu können. Datenanalysen können viele Formen annehmen, etwa Predictive Analytics – die Verwendung von Daten, um Vorhersagen über die Zukunft zu treffen – und Prescriptive Analytics – die Verwendung von Daten, um zu bestimmen, was als Nächstes zu tun ist.

• Data Science ist eine spezialisierte Disziplin, die Mathematik, Statistik, Programmierung, fortgeschrittene Analysen, KI, ML und Fachwissen kombiniert.  

• Business Intelligence (BI) bezieht sich auf die Tools und Techniken, die verwendet werden, um Unternehmensdaten zu erfassen, zu verwalten und zu analysieren, um Geschäftsabläufe zu unterstützen.

Data Intelligence erleichtert Datenanalyse, Data Science und BI, indem sie Benutzern hilft, die Datensätze ihres Unternehmens besser zu verstehen und zu nutzen. Wenn Benutzer wissen, über welche Art von Daten das Unternehmen verfügt und wofür diese verwendet werden können, können sie leichter auf die für ihre Zwecke relevanten Datensätze zugreifen.  

Zum Beispiel können Data Scientists hochwertige, konforme Daten finden, um Algorithmen für Machine Learning zu trainieren. BI-Nutzer können kuratierte Datensätze finden, die auf ihre spezifischen Bereiche zugeschnitten sind.