Was ist Datenkonvertierung?

Während Spezialisten die Datenkonvertierung manuell durchführen können, erfordern die großen Datenmengen, die für den Betrieb moderner Unternehmensanwendungen benötigt werden, in der Regel ein gewisses Maß an Automatisierung. Die beim Datenkonvertierungsprozess eingesetzten Tools und Technologien können einfach oder komplex sein.

Eine Datenkonvertierung kann z. B. lediglich das Konvertieren eines Datumsfelds (z. B. TT/MM/JJ) in ein anderes oder das Aufteilen einer einzelnen Excel-Spalte in zwei Spalten umfassen. Komplexe Datenkonvertierungen, die Daten aus mehreren unterschiedlichen Quellen bereinigen und standardisieren und mehrere Workflows umfassen, können jedoch fortgeschrittene Data-Science-Kenntnisse erfordern.

Zu diesen erweiterten Data-Engineering-Funktionen gehören die Datennormalisierung, die Beziehungen zwischen Datenpunkten definiert, und die Datenanreicherung, die bestehende Informationen mit Datensätzen von Drittanbietern ergänzt.

In der globalen Digital-First-Wirtschaft von heute helfen Datenkonvertierungen Unternehmen dabei, große Datenmengen aus verschiedenen Quellen zu nutzen, um ihren Service zu verbessern, maschinelle Lernmodelle zu trainieren und Big-Data-Analysen bereitzustellen.

Durch die Standardisierung von Datensätzen und deren Vorbereitung für die anschließende Verarbeitung ermöglicht die Datenkonvertierung mehrere wichtige Praktiken im Bereich der Unternehmensdaten. Zu den häufigsten Gründen für die Datenkonvertierung in der Geschäftswelt gehören:

Datenkonvertierungen folgen in der Regel einem strukturierten Prozess, um aus der Rohform nutzbare, wertvolle Daten zu erzeugen. Zu den üblichen Schritten bei einer Datenkonvertierung gehören:

Während des Erkennungsprozesses werden Quelldaten gesammelt. Dieser Prozess kann das Scraping von Rohdaten aus APIs, einer SQL-Datenbank oder internen Dateien in unterschiedlichen Formaten umfassen. Bei der Identifizierung und Extraktion dieser Informationen stellen Datenexperten sicher, dass die gesammelten Informationen umfassend und für ihre spätere Anwendung relevant sind. Während der Erkennung beginnen die Ingenieure auch, die Eigenschaften und die Struktur der Daten im Rahmen eines Prozesses zu verstehen, der als Datenprofilerstellung bekannt ist.

Die Datenaufbereitung und -bereinigung erfordert die Identifizierung und Behebung von Fehlern, Inkonsistenzen und Ungenauigkeiten in den Rohdaten. Dieser Schritt gewährleistet die Datenqualität und Zuverlässigkeit, indem Duplikate und Sonderfälle entfernt oder Missing Values gehandhabt werden.

Bei der Datenzuordnung wird ein Schema oder ein Zuordnungsprozess erstellt, um den Transformationsprozess zu steuern. Während dieses Prozesses definieren Datentechniker, wie die Elemente im Quellsystem bestimmten Elementen im Zielformat entsprechen.

In diesem Schritt erstellt ein Unternehmen den Code, der die Daten umwandelt, entweder mit Hilfe eines Tools eines Drittanbieters oder durch interne Codegenerierung.

In dieser Phase findet die eigentliche Konvertierung statt, da Code auf die Rohdaten angewendet wird. Die konvertierten Daten werden zur weiteren Analyse oder Verarbeitung in ihr Zielsystem geladen. Die konvertierten Daten und das Datenmodell werden anschließend validiert, um Konsistenz und Korrektheit sicherzustellen.

Während des Überprüfungsprozesses prüfen Datenanalysten, Ingenieure oder Endbenutzer die Ausgabedaten und bestätigen, dass sie den Anforderungen entsprechen.

ETL (Extrahieren, Transformieren, Laden) und ELT (Extrahieren, Laden, Transformieren) sind zwei häufig verwendete Datenkonvertierungsprozesse, die leicht unterschiedliche Datenpipeline-Techniken verwenden. Jede dieser Methoden hat je nach Größe und Komplexität der Konvertierung Vor- und Nachteile.

Beim ETL-Prozess wird eine vorgegebene Teilmenge strukturierter Daten aus ihrer Quelle extrahiert, wo sie in einem Staging-Bereich oder einem sekundären Verarbeitungsserver konvertiert werden, bevor sie in ihr Zielsystem geladen werden. ETL eignet sich besser für On-Premises-Speicher und kleinere Datensätze. ETL kann jedoch in Szenarien mit spezifischen Anforderungen an Datenqualität und -konsistenz vorzuziehen sein, da strengere Datenbereinigungs- und Validierungsschritte eingeführt werden können. ETL kann auch erforderlich sein, um vertrauliche Daten, wie z. B. HIPAA-geschützte Informationen, während der Migration zu schützen.

Beim ELT-Prozess werden Informationen aus Datenquellen extrahiert und in das cloudbasierte Zielsystem geladen, wo sie konvertiert werden. Dieser Ansatz ermöglicht, da er die Vorteile der Cloud-Computing-Leistung nutzt, in der Regel eine schnellere Verarbeitung und eine agilere Datenverwaltung. Er kann auch mit unstrukturierten Daten wie Bildern verwendet werden. Mit dem Vorteil der cloudbasierten Rechen- und Speicherleistung profitiert der ELT-Prozess von einer erhöhten Skalierbarkeit.

Datenwissenschaftler und Ingenieure verwenden während des gesamten Datenkonvertierungsprozesses mehrere unterschiedliche Techniken. Welche Taktiken zum Einsatz kommen, hängt ganz vom Projekt und der beabsichtigten Verwendung der Daten ab, wobei mehrere Methoden im Rahmen eines komplexen Prozesses tangential verwendet werden können.

• Datenbereinigung: Die Datenbereinigung verbessert die Datenqualität, indem Fehler und Inkonsistenzen behoben werden, z. B. durch die Beseitigung doppelter Datensätze.

• Datenaggregation: Bei der Datenaggregation werden Daten zusammengefasst, indem mehrere Datensätze zu einem einzigen Wert oder Datensatz kombiniert werden.

• Datennormalisierung: Die Datennormalisierung standardisiert Daten, indem alle Werte in eine gemeinsame Skala oder ein gemeinsames Format gebracht werden, z. B. numerische Werte von 1 bis 10.

• Datenkodierung: Bei der Datenkodierung werden kategoriale Daten in ein numerisches Format konvertiert, um die Analyse zu erleichtern. Beispielsweise könnte die Datenkodierung jeder Kategorie eine eindeutige Nummer zuweisen.

• Datenanreicherung: Die Datenanreicherung verbessert Daten, indem relevante Informationen aus externen Quellen hinzugefügt werden, wie z. B. demografische Daten von Drittanbietern oder relevante Metadaten.

• Datenimputation: Bei der Datenimputation werden fehlende Daten durch plausible Werte ersetzt. Beispielsweise können Missing Values durch den Median- oder Durchschnittswert ersetzt werden.

• Datenaufteilung: Bei der Datenaufteilung werden Daten für unterschiedliche Zwecke in Teilmengen unterteilt. Zum Beispiel könnten Techniker einen Datensatz aufteilen, um einen für das Training und einen für Tests im Bereich des maschinellen Lernens zu verwenden.

• Datendiskretisierung: Bei der Datendiskretisierung werden Daten in einem Prozess, der manchmal als Binning bezeichnet wird, in diskrete Buckets oder Intervalle konvertiert. Die Diskretisierung könnte zum Beispiel im Gesundheitswesen eingesetzt werden, um Daten wie das Patientenalter in Kategorien wie „Säugling“ oder „Erwachsener“ zu übersetzen.

• Datengeneralisierung: Die Datengeneralisierung abstrahiert große Datensätze in eine allgemeinere oder zusammenfassende Form, wodurch Details reduziert und die Daten verständlicher gemacht werden.

• Datenvisualisierung: Die Datenvisualisierung stellt Daten grafisch dar und enthüllt Muster oder Erkenntnisse, die möglicherweise nicht sofort offensichtlich sind.

Während es möglich ist, eine Datenkonvertierung durchzuführen, indem nur interne Techniker eingesetzt werden, erleichtern viele Services von Drittanbietern den Konvertierungs- und Migrationsprozess. Einige der häufigsten sind:

• ETL- und ELT-Tools: Tools wie Apache NiFi und Informatica erleichtern einen Plug-and-Play-ETL- oder ELT-Prozess.

• Datenintegrationsplattformen: Eine Vielzahl von Tools wie IBM® Cloud Pak for Data unterstützen Datenintegration und Echtzeitverarbeitung.

• Datenaufbereitungs-Tools: Diese Tools wurden speziell für die Datenbereinigung und -transformation vor einer Datenkonvertierung oder -migration entwickelt.

• Programmiersprachen: Programmiersprachen wie Python und R bieten mit Bibliotheken wie der Open-Source-Option Pandas robuste Funktionen für die Datenkonvertierung.

Die Datenkonvertierung ist ein entscheidender Schritt bei der Datenverarbeitung. Sie verbessert die Kapazität eines Unternehmens für Analyse, Berichterstellung, Entscheidungsfindung und Speicherung. Zu den wichtigsten Vorteilen gehören: