Datenintegrität vs. Datenqualität: Gibt es einen Unterschied?

Kurz gesagt: ja. Wenn wir über Datenintegrität sprechen, beziehen wir uns auf die übergreifende Vollständigkeit, Genauigkeit, Konsistenz, Zugänglichkeit und Sicherheit der Daten eines Unternehmens. Zusammen bestimmen diese Faktoren die Zuverlässigkeit der Daten des Unternehmens. Die Datenqualität nutzt diese Kriterien, um den Grad der Datenintegrität und damit ihre Zuverlässigkeit und Anwendbarkeit für den beabsichtigten Verwendungszweck zu messen. Datenqualität und -integrität sind für ein datengesteuertes Unternehmen von entscheidender Bedeutung, das Analysen für Geschäftsentscheidungen einsetzt, internen Stakeholdern Self-Service-Datenzugriff bietet und Kunden Datenangebote unterbreitet.

Um ein hohes Maß an Datenintegrität zu erreichen, implementiert ein Unternehmen Prozesse, Regeln und Standards, die regeln, wie Daten erfasst, gespeichert, abgerufen, bearbeitet und genutzt werden. Diese Prozesse, Regeln und Standards wirken zusammen, um Folgendes zu bewirken:

• Daten und Eingaben prüfen
• Doppelte Daten entfernen
• Bereitstellen von Daten-Backups und Sicherstellen von Geschäftskontinuität
• Datenschutz durch Zugriffskontrollen
• Pflegen eines Prüfprotokolls, um Verantwortlichkeit und Compliance zu gewährleisten

Eine Unternehmen kann während des gesamten Datenlebenszyklus eine beliebige Anzahl von Tools und privaten oder öffentlichen Public-Cloud-Umgebungen nutzen, um die Datenintegrität durch etwas, das als Data Governance bekannt ist, aufrechtzuerhalten. Dabei handelt es sich um die Erstellung, Aktualisierung und konsequente Durchsetzung von Prozessen, Regeln und Standards, die Fehler, Datenverluste, Datenbeschädigung, den falschen Umgang mit sensiblen oder regulierten Daten und Data Breach verhindern.

Die Vorteile der Datenintegrität

Ein Unternehmen mit einem hohen Maß an Datenintegrität ist zu Folgendem in der Lage:

• Erhöhen der Wahrscheinlichkeit und Geschwindigkeit der Datenwiederherstellung im Falle einer Sicherheitsverletzung oder einer Ausfallzeit
• Schutz vor unbefugtem Zugriff und Datenänderung
• Effektiveres Erreichen und Erhalten von Vorschriften

Eine gute Datenintegrität kann auch die Ergebnisse von Geschäftsentscheidungen verbessern, indem sie die Genauigkeit der Analysen eines Unternehmens erhöht. Je vollständiger, genauer und konsistenter ein Datensatz ist, desto fundierter werden Business Intelligence und Geschäftsprozesse. Dadurch sind Führungskräfte besser in der Lage, Ziele zu setzen und zu erreichen, die ihrem Unternehmen zugute kommen und das Vertrauen von Mitarbeitern und Verbrauchern stärken.

Auch Data-Science-Aufgaben wie maschinelles Lernen profitieren stark von einer guten Datenintegrität. Wenn ein zugrunde liegendes Modell für maschinelles Lernen anhand von Datensätzen trainiert wird, die vertrauenswürdig und genau sind, ist dieses Modell besser darin, Geschäftsvorhersagen zu treffen oder Aufgaben zu automatisieren.

Die verschiedenen Arten der Datenintegrität

Es gibt zwei Hauptkategorien von Datenintegrität: physische Datenintegrität und logische Datenintegrität.

Unter physischer Datenintegrität versteht man den Schutz der Datenvollständigkeit (d. h. in den Daten fehlen keine wichtigen Informationen), der Zugänglichkeit und der Genauigkeit während der Speicherung oder Übertragung. Naturkatastrophen, Stromausfälle, menschliches Versagen und Cyberangriffe stellen Risiken für die physische Integrität der Daten dar.

Die logische Datenintegrität bezieht sich auf den Schutz der Datenkonsistenz und -vollständigkeit während des Zugriffs auf sie durch verschiedene Stakeholder und Anwendungen in verschiedenen Abteilungen, Fachbereichen und Standorten. Die logische Datenintegrität wird erreicht durch:

• Verhinderung von Duplizierung (Integrität der Entität)
• Festlegung, wie Daten gespeichert und genutzt werden (referenzielle Integrität)
• Bewahrung von Daten in einem akzeptablen Format (Domänenintegrität)
• Sicherstellung, dass Daten den individuellen oder branchenspezifischen Anforderungen eines Unternehmens entsprechen (benutzerdefinierte Integrität)

Wie sich Datenintegrität von Datensicherheit unterscheidet

Datensicherheit ist eine Teilkomponente der Datenintegrität und bezieht sich auf die Maßnahmen, die ergriffen werden, um den unbefugten Datenzugriff oder die unbefugte Manipulation zu verhindern. Effektive Datensicherheit und -tools tragen zu einer starken Datenintegrität bei. Mit anderen Worten: Datensicherheit ist das Mittel, während Datenintegrität das Ziel ist. Die Wiederherstellbarkeit von Daten – im Falle einer Sicherheitsverletzung, eines Angriffs, eines Stromausfalls oder einer Dienstunterbrechung – fällt in den Bereich der Datensicherheit.

Die Folgen schlechter Datenintegrität

Menschliche Fehler, Übertragungsfehler, böswillige Handlungen, unzureichende Sicherheit und Hardwarefehlfunktionen tragen zu „fehlerhaften Daten“ bei, was sich negativ auf die Datenintegrität eines Unternehmens auswirkt. Ein Unternehmen, das mit einem oder mehreren dieser Probleme zu kämpfen hat, riskiert Folgendes:

Schlechte Datenqualität

Daten von geringer Qualität führen aufgrund ungenauer und fundierter Analyse zu schlechter Entscheidungsfindung. Eine verringerte Datenqualität kann zu Produktivitätsverlusten, Umsatzeinbußen und Reputationsschäden führen.

Unzureichende Datensicherheit

Für Daten, die nicht ordnungsgemäß gesichert sind, besteht ein erhöhtes Risiko eines Data Breach oder des Verlusts durch eine Naturkatastrophe oder ein anderes ungeplantes Ereignis. Und ohne richtige Erkenntnis und Kontrolle über die Datensicherheit kann ein Unternehmen leichter gegen lokale, regionale und globale Vorschriften wie die Datenschutzg-Grundverordnung der Europäischen Union verstoßen.

Die Datenqualität ist im Wesentlichen das Maß für die Datenintegrität. Genauigkeit, Vollständigkeit, Konsistenz, Gültigkeit, Einzigartigkeit und Aktualität eines Datensatzes sind die Messgrößen für die Datenqualität, mit denen Unternehmen die Nützlichkeit und Effektivität der Daten für einen bestimmten Geschäftsanwendungsfall bestimmen.

Wie Sie die Datenqualität bestimmen

Datenqualitätsanalysten bewerten einen Datensatz anhand der oben aufgeführten Dimensionen und vergeben eine Gesamtbewertung. Wenn Daten in allen Dimensionen einen hohen Rang einnehmen, gelten sie als qualitativ hochwertige Daten, die für den beabsichtigten Anwendungsfall oder die Anwendung zuverlässig und vertrauenswürdig sind. Zur Messung und Pflege hochwertiger Daten verwenden Unternehmen Regeln zur Datenqualität, die auch als Datenvalidierungsregeln bezeichnet werden, um sicherzustellen, dass die Datensätze die vom Unternehmen festgelegten Kriterien erfüllen.

Die Vorteile einer guten Datenqualität

Mehr Effizienz

Geschäftsanwender und Data Scientists müssen keine Zeit mit dem Auffinden oder Formatieren von Daten in verteilten Systemen verschwenden. Stattdessen können sie leichter auf Datensätze zugreifen und diese mit größerer Zuversicht analysieren. Es wird zusätzliche Zeit eingespart, die sonst mit der Bearbeitung unvollständiger oder ungenauer Daten verschwendet worden wäre.

Höherer Datenwert

Da die Daten einheitlich formatiert und für den Benutzer oder die Anwendung kontextualisiert sind, können Unternehmen einen Mehrwert aus Daten ziehen, die andernfalls vielleicht verworfen oder ignoriert worden wären.

Verbesserte Zusammenarbeit und bessere Entscheidungsfindung

Qualitativ hochwertige Daten beseitigen Inkongruenzen zwischen Systemen und Abteilungen und sorgen für konsistente Daten über Prozesse und Verfahren hinweg. Die Zusammenarbeit und Entscheidungsfindung zwischen den Stakeholdern wird verbessert, da sie sich alle auf die gleichen Daten stützen.

Geringere Kosten und verbesserte Einhaltung gesetzlicher Vorschriften

Qualitativ hochwertige Daten sind leicht zu finden und zugänglich. Da keine Datensätze neu erstellt oder nachverfolgt werden müssen, werden die Arbeitskosten gesenkt und Fehler bei der manuellen Dateneingabe werden unwahrscheinlicher. Und da hochwertige Daten problemlos in der richtigen Umgebung gespeichert und in obligatorischen Berichten erfasst und zusammengestellt werden können, kann ein Unternehmen die Einhaltung der Vorschriften besser sicherstellen und behördliche Strafen vermeiden.

Verbesserte Mitarbeiter- und Customer Experience

Hochwertige Daten liefern genauere, tiefergehende Erkenntnisse, die ein Unternehmen nutzen kann, um Mitarbeitern und Kunden eine personalisiertere und wirkungsvollere Erfahrung zu bieten.

Die sechs Dimensionen der Datenqualität

Um die Datenqualität zu bestimmen und eine Gesamtbewertung zu vergeben, bewerten Analysten einen Datensatz anhand dieser sechs Dimensionen, die auch als Datenmerkmale bezeichnet werden:

1. Genauigkeit: Sind die Daten nachweislich korrekt und spiegeln sie den realen Wissensstand wider?
2. Vollständigkeit: Umfassen die Daten alle relevanten und verfügbaren Informationen? Gibt es fehlende Datenelemente oder leere Felder?
3. Konsistenz: Stimmen die entsprechenden Datenwerte an verschiedenen Standorten und Umgebungen überein?
4. Gültigkeit: Werden die Daten im richtigen Format für den beabsichtigten Verwendungszweck erfasst?
5. Einzigartigkeit: Werden Daten dupliziert oder überlappen sich diese mit anderen Daten?
6. Aktualität: Sind die Daten aktuell und bei Bedarf sofort verfügbar?

Je höher die Punktzahl eines Datensatzes in jeder dieser Dimensionen ist, desto höher ist seine Gesamtbewertung. Eine hohe Gesamtbewertung zeigt an, dass ein Datensatz zuverlässig, leicht zugänglich und relevant ist.

Wie man die Datenqualität verbessert

Einige gängige Methoden und Initiativen, die Unternehmen zur Verbesserung der Datenqualität einsetzen, sind:

Datenprofilierung

Data Profiling, auch als Bewertung der Datenqualität bekannt, bezeichnet den Prozess der Prüfung der Daten eines Unternehmens in ihrem aktuellen Zustand. Dies geschieht, um Fehler, Ungenauigkeiten, Lücken, inkonsistente Daten, Duplikate und Barrieren bei der Zugänglichkeit aufzudecken. Eine beliebige Anzahl von Datenqualitätstools kann verwendet werden, um Datensätze zu profilieren und korrekturbedürftige Datenanomalien zu erkennen.

Datenbereinigung

Unter Datenbereinigung versteht man die Beseitigung von Problemen mit der Datenqualität und Unstimmigkeiten, die bei der Datenprofilierung festgestellt wurden. Dazu gehört auch die Deduplizierung von Datensätzen, damit mehrere Dateneinträge nicht versehentlich an mehreren Orten vorhanden sind.

Datenstandardisierung

Hierbei handelt es sich um den Prozess, bei dem verteilte Datenbestände und unstrukturierte Big Data in ein einheitliches Format gebracht werden. So wird sichergestellt, dass die Daten unabhängig von der Datenquelle vollständig und einsatzbereit sind. Zur Standardisierung von Datensätzen werden Business Rules angewendet, um sicherzustellen, dass die Datensätze den Standards und Bedürfnissen eines Unternehmens entsprechen.

Geokodierung

Geokodierung ist der Prozess des Hinzufügens von Standortmetadaten zu den Datensätzen eines Unternehmens. Durch die Kennzeichnung von Daten mit geografischen Koordinaten, die nachverfolgen, woher sie stammen, wo sie waren und wo sie sich befinden, kann ein Unternehmen sicherstellen, dass nationale und globale Standards für geografische Daten eingehalten werden. Geografische Metadaten können einem Unternehmen beispielsweise dabei helfen, sicherzustellen, dass die Verwaltung von Kundendaten mit der DSGVO konform bleibt.

Zuordnen oder Verknüpfen

Dies ist die Methode zum Identifizieren, Zusammenführen und Auflösen doppelter oder redundanter Daten.

Überwachung der Datenqualität

Die Aufrechterhaltung einer guten Datenqualität erfordert ein kontinuierliches Datenqualitäts-Management. Die Überwachung der Datenqualität ist die Praxis, zuvor bewertete Datensätze erneut aufzurufen und auf der Grundlage der sechs Dimensionen der Datenqualität neu zu bewerten. Viele Datenanalysten verwenden ein Datenqualitäts-Dashboard, um Datenqualitäts-KPIs zu visualisieren und zu verfolgen.

Batch- und Echtzeit-Validierung

Dies ist die Bereitstellung von Datenvalidierungsregeln für alle Anwendungen und Datentypen in großem Maßstab, um sicherzustellen, dass alle Datensätze bestimmten Standards entsprechen. Dies kann periodisch als Batch-Prozess oder kontinuierlich in Echtzeit durch Prozesse wie die Erfassung von Änderungsdaten erfolgen.

Master Data Management

Master Data Management (MDM) bezeichnet die Erstellung und Pflege einer unternehmensweiten, zentralisierten Datenregistry, in der alle Daten katalogisiert und nachverfolgt werden. Dies gibt dem Unternehmen einen zentralen Ort, an dem es seine Datensätze schnell einsehen und auswerten kann, unabhängig davon, wo sich diese Daten befinden oder welchen Typ sie haben. So würden sich beispielsweise Kundendaten, Informationen zur Lieferkette und Marketingdaten alle in einer MDM-Umgebung befinden.

IBM bietet eine breite Palette an integrierten Funktionen für Datenqualität und Governance, einschließlich Datenprofilierung, Datenbereinigung, Datenüberwachung, Datenabgleich und Datenanreicherung, um sicherzustellen, dass Datennutzer Zugriff auf vertrauenswürdige, hochwertige Daten haben. Die Data Governance-Lösung von IBM unterstützt Unternehmen dabei, eine automatisierte, metadatengetriebene Grundlage zu schaffen, die Assets Datenqualität zuweist und die Kuratierung über Automatisierung zu verbessern, um das Datenqualitätsmanagement zu vereinfachen.

Mit den Funktionen zur Daten-Observability kann IBM Unternehmen dabei helfen, Probleme innerhalb von Datenpipelines schneller zu erkennen und zu beheben. Die Partnerschaft mit Manta für automatisierte Funktionen zur Rückverfolgung der Datenabstammung ermöglicht es IBM, Kunden dabei zu helfen, Probleme näher an der Quelle zu finden, zu verfolgen und zu verhindern.