Mehr als strukturierte Daten: IBM Netezza führt native Workflows für unstrukturierte Daten ein
IBM Netezza integriert jetzt auch unstrukturierte Daten in das Data-Warehouse. Automatisierte Pipelines wandeln Rohdateien in analysebereite Daten um und bilden die Grundlage für RAG-Anwendungen. Die Funktion ist ab sofort in der Private Tech Preview verfügbar.
Mit der neuesten Version von IBM Netezza für unstrukturierte Daten-Workflows können Benutzer neben herkömmlichen relationalen Daten auch mit dateibasierten Informationen innerhalb derselben Analyseumgebung arbeiten. Anstatt unstrukturierte Inhalte als etwas zu betrachten, das stets an anderer Stelle verarbeitet werden muss, bevor es nutzbar wird, ermöglicht Netezza, dass diese Inhalte Teil des Analyse-Workflows selbst werden.
Für Datenteams bedeutet dies, dass sie ihre bereits vorhandenen SQL-Kenntnisse und Analyseverfahren weiterhin nutzen und gleichzeitig die Datentypen erweitern können, mit denen sie arbeiten. Anstatt mehrere Systeme zu orchestrieren, nur um Dokumente mit Geschäftsdaten zu kombinieren, kann ein Großteil dieser Arbeit nun näher dort erfolgen, wo sich die vertrauenswürdigen Unternehmensdaten bereits befinden.
Ziel ist es nicht, spezialisierte Plattformen für die Dokumentenverarbeitung oder KI-Services zu ersetzen, sondern unnötige Schritte zu reduzieren, die erforderlich sind, bevor strukturierte und unstrukturierte Informationen gemeinsam analysiert werden können.
Seit Jahrzehnten basieren Data-Warehouses für Unternehmen auf einer grundlegenden Annahme: Geschäftsdaten liegen in Tabellen vor. Kundendaten, Transaktionen, Verkaufsberichte, Bestands- und Finanzdaten folgten alle einem strukturierten Format, wodurch SQL zur universellen Sprache für die Analyse wurde. Dieses Modell hatte sich für Unternehmen bewährt, da es zuverlässige Leistung, Governance und Konsistenz für geschäftskritische Berichte bot.
Die heutige Datenlandschaft in Unternehmen sieht ganz anders aus. Unternehmen erstellen mehr Dokumente, Anwendungen, PDF-Dateien, E-Mails, technische Handbücher, Bilder und andere dateibasierte Informationen als je zuvor. Viele dieser Inhalte enthalten wertvollen Geschäftskontext, bleiben jedoch häufig von den strukturierten Daten getrennt, auf denen die Unternehmensanalysen basieren. Dadurch müssen Daten zunehmend über mehrere Plattformen hinweg verschoben werden, bevor sie analysiert werden können.
Die Branche hat darauf weitgehend mit zusätzlichen Verarbeitungs-Engines neben dem Data-Warehouse reagiert. Das erweitert zwar den Funktionsumfang, erhöht jedoch auch die Komplexität. Mit jeder neuen Engine kommt eine weitere Umgebung hinzu, die abgesichert, überwacht, mit Governance versehen und gewartet werden muss. Im Laufe der Zeit betreiben Unternehmen ebenso viel Aufwand für die Verwaltung ihrer Analytics-Architektur wie für die Gewinnung von Erkenntnissen daraus.
Dieser Wandel verändert die Erwartungen von Unternehmen an eine moderne Analyseplattform. Dabei geht es längst nicht mehr nur um Abfrageleistung oder Speichereffizienz. Immer mehr Unternehmen fragen sich, ob ihre Analyseplattform weiterentwickelt werden kann, um ein breiteres Spektrum von Workloads zu unterstützen, ohne eine weitere Infrastrukturebene zu benötigen.
Genau hier setzt das neueste Release von IBM Netezza an.
Diese Funktion eröffnet auch die Möglichkeit, ein bekanntes und bewährtes Architekturmodell für unstrukturierte Inhalte einzusetzen: die Medallion-Architektur. Kunden können ihre PDF-Dateien, Dokumente und andere dateibasierte Inhalte in einen Data Lake übertragen und anschließend Pipelines erstellen, die den gesamten Datenfluss automatisieren. Die Rohdateien werden schrittweise aufbereitet: Text wird extrahiert, bereinigt und standardisiert, bis die Inhalte als kuratierte, analysebereite Daten vorliegen, die sich direkt mit vertrauenswürdigen Data-Warehouse-Daten verknüpfen lassen.
Da diese Pipelines automatisiert sind, ist der Datenfluss nicht von einer manuellen, einmaligen Verarbeitung abhängig. Wenn neue Dokumente im Data Lake landen, werden sie automatisch aufgenommen und optimiert. Dies führt zu einem reproduzierbaren, geregelten Prozess, der von den Rohdaten des Unternehmens bis hin zu geschäftsrelevanten Erkenntnissen reicht und in derselben Umgebung erstellt und betrieben wird, in der bereits die strukturierten Daten des Unternehmens verwaltet werden.
Die gleiche Pipeline-Funktionen lassen sich natürlich auch auf KI-Workloads übertragen. Kunden können Pipelines erstellen, die den End-to-End-RAG-Flow automatisieren: Dokumente parsen, in Chunks aufteilen, Einbettungen generieren und diese in den Vektorspeicher laden – alles ohne manuelles Eingreifen. Sobald neue Inhalte hinzukommen, sorgt die Pipeline dafür, dass die Wissensbasis auf dem neuesten Stand bleibt, sodass KI-Anwendungen stets Antworten abrufen können, die auf den aktuellsten Unternehmensinformationen basieren.
In Kombination mit den nativen Vektorfunktionen von Netezza können Unternehmen damit produktive RAG-Anwendungen auf Basis ihres bestehenden Data-Warehouse bereitstellen und betreiben, ohne dafür einen separaten Stack aus Tools für die Datenerfassung, Embedding-Services und Vektordatenbanken zusammenstellen zu müssen.
Durch die Unterstützung von Workflows für strukturierte und unstrukturierte Daten auf ein und derselben Plattform trägt Netezza dazu bei, unnötige Datenübertragungen zu reduzieren und gleichzeitig die gesamte Analysearchitektur zu vereinfachen. Anstatt unstrukturierte Daten als separates Problem zu betrachten, werden sie zu einer weiteren Quelle für geschäftliche Erkenntnisse, die zusammen mit den bewährten Daten aus dem Data Warehouse analysiert werden können. Dieser Ansatz schafft zudem eine solidere Grundlage für KI-gestützte Analysen, bei denen strukturierte Geschäftsdaten und unstrukturierte Unternehmensinhalte zunehmend zusammenwirken müssen.
Der Analysemarkt beschränkt sich nicht mehr allein auf Plattformen, die Daten lediglich speichern oder verarbeiten. Die neueste Netezza-Version spiegelt diesen Wandel wider: Anstatt unstrukturierte Daten als eigenständige Funktion zu positionieren, erweitert sie die Stärken der Plattform, um umfassendere Analyse-Workflows zu unterstützen. Kunden werden weiterhin von der Leistung, Governance und SQL-Erfahrung profitieren, die sie von Netezza erwarten, und erhalten die Möglichkeit, neue Formen von Geschäftsdaten in ihre Analyse einzubeziehen.
Da Unternehmen zunehmend versuchen, Modernisierung und betriebliche Effizienz in Einklang zu bringen, wird die Fähigkeit, mit strukturierten und unstrukturierten Daten in einer einheitlichen Umgebung zu arbeiten, immer wertvoller werden. Mit der neuesten Version von Netezza können Unternehmen eine einfachere und leistungsfähigere Analyseplattform für die nächste Generation von Unternehmens-Workloads aufbauen.
Unternehmen, die die gemeinsame Analyse strukturierter und unstrukturierter Daten vereinfachen möchten, können diese Funktion im Rahmen der IBM Netezza Private Tech Preview selbst testen. Das Programm bietet die Möglichkeit, die neuen Workflows für unstrukturierte Daten zu evaluieren, dem Produktteam Feedback zu geben und die weitere Entwicklung der Funktion vor der allgemeinen Verfügbarkeit mitzugestalten.