Was ist Objektspeicher?

Moderne digitale Kommunikationsdaten sind weitgehend unstrukturiert, was bedeutet, dass sie nicht mit einer herkömmlichen relationalen Datenbank mit Zeilen und Spalten übereinstimmen (und auch nicht einfach darin organisiert werden können). Solche Internetdaten sind beispielsweise E-Mails, Videos, Fotos, Webseiten, Audiodateien, Sensordaten und andere Arten von Medien- und Webinhalten (mit und ohne Text).

All diese Inhalte werden kontinuierlich aus sozialen Medien, Suchmaschinen, Mobiltelefonen und Smart Devices gestreamt. Beispielsweise nutzen Streaming-Dienste wie Netflix Objektspeicher, um ihre umfangreichen Bibliotheken mit Filmen und Serien zu speichern und an Nutzer weltweit bereitzustellen, was einen sofortigen Zugriff von jedem Gerät und jedem Ort aus ermöglicht.

Mit Objektspeicherung können Datenmengen von Terabyte (TB) bis Petabyte (PB) und darüber hinaus gespeichert und verwaltet werden – einschließlich Exabyte-Bereitstellungen, die die größten Cloud-Plattformen und datenintensiven Anwendungen von heute unterstützen.

Unternehmen stehen heute vor der ständigen Herausforderung, große Datenmengen effizient und kostengünstig zu speichern und zu verwalten. Object Storage bietet eine robuste Lösung für moderne Datenspeicheranforderungen, da es im Vergleich zu herkömmlichen datei- oder blockbasierten Speichern eine nahezu unbegrenzte Skalierbarkeit bietet.

Eine Studie Eine Studie von DataIntelo schätzt den weltweiten Markt für Object Storage für 2023 auf etwa 6,8 Mrd. USD. Die Studie prognostiziert außerdem ein Wachstum auf fast 25 Milliarden US-Dollar bis 2032, mit einer durchschnittlichen jährlichen Wachstumsrate (CAGR) von 15,7 %.¹ Dieses Wachstum spiegelt den steigenden Bedarf an der Verarbeitung unstrukturierter Daten, die zunehmende Verbreitung der Cloud und die wachsende Abhängigkeit von Big-Data-Analysen wider.

Object Storage hat sich seit ihrer Einführung in den frühen 2000er Jahren erheblich weiterentwickelt. Zu den wichtigsten Meilensteinen zählt die Einführung von S3 durch Amazon im Jahr 2006, wodurch der De-facto-Standard für Cloud Object Storage-Anwendungsprogrammierschnittstellen (APIs) etabliert wurde. Darauf folgte 2010 das Aufkommen von Open-Source-Lösungen wie OpenStack Swift und Mitte der 2010er Jahre der Aufstieg von Hybrid-Cloud-Bereitstellungen.

Ursprünglich für Web-Scale-Anwendungen entwickelt, ist moderner Objektspeicher mittlerweile ein fester Bestandteil von Cloud Computing und containerisierten Umgebungen. Die heutigen Implementierungen unterstützen erweiterte Funktionen wie intelligentes Data Tiering, Versionierungsfunktionen und die Integration mit Kubernetes und anderen Plattformen, die die Container-Orchestrierung automatisieren. Zu den jüngsten Innovationen gehören KI-gesteuertes Datenmanagement, bei dem Algorithmen für maschinelles Lernen (ML) zur Optimierung der Speicherkosten und -leistung beitragen, sowie Edge-Objektspeicherfunktionen, die Daten näher an den Ort bringen, an dem sie genutzt werden.

Etwa zur gleichen Zeit, als Objektspeicher in cloudnativen Umgebungen an Bedeutung gewannen, begannen viele Unternehmen, ihre Abhängigkeit von traditionellen Speicherarchitekturen zu überdenken.

In der Vergangenheit nutzten Unternehmen kostspielige Storage Area Networks (SANs), um die wachsenden Datenmengen zu verwalten, was häufig erhebliche Investitionen in Hardware und IT-Infrastruktur erforderte. Angesichts des steigenden Datenbedarfs wurde es zunehmend schwieriger, diesen Ansatz aufrechtzuerhalten. Cloudspeicher-Services boten eine flexiblere Alternative, die es Unternehmen ermöglichte, die Kapazität nach Bedarf zu erhöhen oder zu verringern.

Anstatt große interne Speichernetzwerke zu unterhalten, können Unternehmen nun auf Storage as a Service (STaaS) zugreifen – wodurch sie Kosten senken und gleichzeitig an Geschwindigkeit und Skalierbarkeit gewinnen. Alle großen Cloud-Provider, darunter Amazon Web Services (AWS), Google Cloud, IBM Cloud und Microsoft Azure, bieten Objektspeicherfunktionen an. Diese Entwicklung hat sich weiter zu hybriden Multicloud-Ansätzen entwickelt, bei denen Unternehmen On-Premises-Speicher strategisch mit mehreren Cloud-Providern kombinieren, um Leistung, Kosten und Compliance-Anforderungen zu optimieren.

Cloud-Speicher umfasst verschiedene Architekturen, darunter Datei-, Block- und Objektspeicher. Beide bieten unterschiedliche Ansätze für Datenverwaltung und Zugänglichkeit. Moderne Unternehmen verwenden je nach ihren spezifischen Anforderungen und Datentypen unterschiedliche Speicherarchitekturen.

Während strukturierte Daten und transaktionale Workloads häufig auf herkömmliche Datei- und Blockspeicher angewiesen sind, hat die Verbreitung unstrukturierter digitaler Inhalte Objektspeicher für die heutige Datenlandschaft unverzichtbar gemacht. Wenn Sie diese drei Speichermethoden verstehen, können Sie den für Ihre Anforderungen geeigneten Ansatz auswählen.

Nachfolgend finden Sie eine Übersicht über Objekt-, Datei- und Blockspeicher.

Bei der Dateispeicherung werden die Daten in einem Ordner organisiert und gespeichert. Die Dateien erhalten einen Namen und Metadaten (in der Regel der Dateiname, der Dateityp und das Datum, an dem die Datei erstellt und zuletzt aktualisiert wurde) und werden in einer hierarchischen Struktur aus Verzeichnissen und Unterverzeichnissen in Ordnern organisiert.

Sie können sich die Speicherung von Dateien so vorstellen, wie Sie physische Papierakten in einem Aktenschrank aufbewahren. Es gibt mehrere Schubladen (Verzeichnisse) und beschriftete Dateiordner in jeder Schublade (Unterverzeichnisse).

Wenn Sie einen bestimmten Aktenordner in Ihrem Aktenschrank suchen, ziehen Sie die entsprechende Schublade heraus und schauen sich die Ordnerbeschriftungen an. Ebenso benötigt Ihr Computersystem für den Zugriff auf die Daten in einem Dateispeichersystem nur den Pfad (Verzeichnisse und Unterverzeichnisse), in dem sie zu finden sind.

Ein hierarchisches Speichersystem wie dieses funktioniert gut bei relativ kleinen, leicht zu organisierenden Datenmengen. Wenn jedoch die Anzahl der Dateien zunimmt, kann der Such- und Abrufprozess umständlich und zeitintensiv werden.

Der Blockspeicher bietet eine effizientere und leistungsfähigere Alternative zur dateibasierten Speicherung. Hierbei wird eine Datei in gleich große Datenblöcke aufgeteilt. Diese Datenblöcke werden dann separat unter einer eindeutigen Adresse gespeichert. Es ist keine Dateiordnerstruktur erforderlich. Stattdessen können Sie die Gruppe von Blöcken an einer beliebigen Stelle im System speichern und so maximale Effizienz erzielen.

Für den Zugriff auf eine Datei verwendet ein Serverbetriebssystem die eindeutige Adresse, um die Blöcke wieder zusammenzusetzen und zu einer Datei zusammenzufügen. Dadurch steigern Sie Ihre Effizienz, da das System nicht durch Verzeichnisse und Dateihierarchien navigieren muss, um auf die Datenblöcke zuzugreifen. Blockspeicher eignen sich gut für geschäftskritische Anwendungen, Transaktionsdatenbanken und Virtual Machines, die eine geringe Latenzzeit, einen differenzierten oder detaillierten Zugriff auf Daten und eine konsistente Leistung erfordern.

Anstatt Dateien in Blöcke aufzuteilen oder sie in hierarchischen Ordnern zu organisieren, behandelt der Objektspeicher jedes Datenelement als eigenständige, adressierbare Einheit. Im Gegensatz zu Dateisystemen, die auf Verzeichnisstrukturen basieren, oder Blockspeichern, die Daten fragmentieren, gewährleistet Objektspeicher die vollständige Datenintegrität innerhalb jeder Speichereinheit.

Object Storage bietet eine kosteneffiziente, massiv skalierbare Speicherung für unstrukturierte Daten, die die praktischen Grenzen von Block- und Dateilösungen übertrifft. Es ist ideal für die Archivierung statischer Daten, wie z. B. Compliance-Datensätze, Medienbibliotheken und Backup-Daten, die nicht häufig geändert werden müssen.

Objekte sind diskrete Dateneinheiten, die in einer strukturell flachen Datenumgebung gespeichert sind, wie sie für Objektspeicher typisch ist. Im Gegensatz zu herkömmlichen Dateisystemen gibt es keine echten Ordner, Verzeichnisse oder komplexen Hierarchien – allerdings können ordnerähnliche Strukturen durch die Verwendung von Namenskonventionen simuliert werden.

Jedes Objekt ist eine in sich geschlossene Einheit, die die Daten selbst, zugehörige Metadaten (beschreibende Informationen über das Objekt) und eine eindeutige Kennung, oft als Objektschlüssel bezeichnet, enthält. Diese eindeutige Kennung unterscheidet das Objekt innerhalb des Speichersystems und ähnelt möglicherweise einem Dateipfad, stellt jedoch keine tatsächliche Verzeichnisstruktur dar.

Repository-Informationen ermöglichen es einer Anwendung, das Objekt zu finden und darauf zuzugreifen. Objektspeichermedien lassen sich zu größeren Speicherpools zusammenfassen und diese Speicherpools dann auf verschiedene Speicherorte aufteilen. Diese Funktion ermöglicht eine unbegrenzte Skalierbarkeit und verbessert die Datenresilienz und Notfallwiederherstellung.

Object Storage beseitigt die Komplexität und Skalierbarkeitsprobleme eines hierarchischen Dateisystems. Objekte können lokal in lokalen Rechenzentren, auf Cloud-Servern oder in Hybrid- und Multicloud-Umgebungen gespeichert werden und sind von überall auf der Welt zugänglich. Moderne Bereitstellungen nutzen häufig Container-Orchestrierung und verteilte Infrastruktur, um die zugrunde liegenden Systeme zu verwalten, die den Objektspeicher betreiben.

Objekte – jedes bestehend aus Daten, Metadaten und einer eindeutigen Kennung – werden in einem Object Storage über APIs abgerufen. Die native API für den Objektspeicher ist typischerweise eine HTTP-basierte REST-konforme API (auch bekannt als REST-konformer Web-Service). Die meisten Anbieter bieten auch Software Development Kits (SDKs) an, die die Interaktion mit diesen APIs in verschiedenen Programmiersprachen vereinfachen.

Diese APIs verwenden die eindeutige Kennung (oder den Schlüssel) des Objekts, um das Objekt abzurufen, und ermöglichen auch die Abfrage seiner Metadaten. Da die APIs internetbasiert sind, kann von überall und von jedem Gerät mit Netzwerkverbindung auf Objekte zugegriffen werden.

RESTful-APIs verwenden HTTP-Befehle wie „PUT“ oder „POST“, um ein Objekt hochzuladen, „GET“, um ein Objekt abzurufen, und „DELETE“, um es zu entfernen. (HTTP steht für „Hypertext Transfer Protocol“ und ist ein System zur Übertragung von Text-, Grafik-, Ton-, Video- und anderen Multimedia-Dateien im Internet).

Sie können eine beliebige Anzahl von statischen Dateien in einer Objektspeicherinstanz ablegen, von wo aus eine API sie dann abrufen kann. Es entstehen immer mehr REST-konforme API-Standards, die über das Erstellen, Abrufen, Aktualisieren und Löschen von Objekten hinausgehen. Diese Standards ermöglichen Anwendungen die Verwaltung des Object Storage, seiner Container, Konten, Mandantenfähigkeit, Sicherheit, Abrechnung und mehr.

Nehmen wir zum Beispiel an, Sie möchten alle Bücher eines großen Bibliothekssystems auf einer zentralen Plattform speichern. Sie müssen aber nicht nur die Inhalte der Bücher (Daten) speichern, sondern auch die zugehörigen Informationen wie Autor, Veröffentlichungsdatum, Verlag, Thema, Urheberrechte und andere Details. Natürlich können Sie all diese Daten und Metadaten in einer relationalen Datenbank speichern, die in Ordnern mit einer Hierarchie von Verzeichnissen und Unterverzeichnissen organisiert ist.

Aber bei Millionen von Büchern wird der Such- und Wiederbeschaffungsprozess umständlich und zeitaufwändig. Ein Objektspeichersystem funktioniert gut, da die Daten statisch bzw. unveränderlich sind. In diesem Beispiel werden sich die Inhalte des Buches nicht ändern.

Die Objekte werden als „Pakete“ in einer flachen Struktur gespeichert und können mit einem einzigen API-Aufruf leicht gefunden und abgerufen werden. Und wenn die Anzahl der Bücher weiter wächst, können Sie Speichermedien zu größeren Speicherpools zusammenfassen und diese Speicherpools dann für eine unbegrenzte Skalierung verteilen.

Sie können einfache API-Aufrufe verwenden, um Dateien in ein Objektspeichersystem hochzuladen und abzurufen, aber eine Anwendung benötigt auch die Metadaten des Objekts, um das richtige Objekt im Speicher zu finden. An dieser Stelle kommt eine Objektspeicherdatenbank ins Spiel. Diese Datenbank stellt eine Art Verzeichnis bereit, das die Metadaten des Objekts verwendet, um die entsprechenden Datendateien in einem verteilten Speichersystem zu finden.

Jede Objektspeichergruppe hat eine Objektspeicherdatenbank, die zwei Tabellen enthält:

• Objektverzeichnistabelle

• Objektspeichertabelle

Die Objektverzeichnistabelle enthält beschreibende Informationen über jedes Objekt (die Metadaten). In diesem Verzeichnis werden alle Objekte in der Speicherhierarchie erfasst, indem die ID des Objektgruppennamens, der Objektname und andere relevante Informationen erfasst werden. Beispielsweise enthält die Objektverzeichnis-Tabelle in gängigen Objektspeichermethoden drei Hauptindizes:

• Die Zeitmarke der Objekterstellung

• Der Name der Sammlung (Name ID) und die Zeitmarke der Objekterstellung

• Den Objektnamen und die ID des Objektgruppennamens

Die Objektspeichertabelle enthält den Dateninhalt oder die Datei selbst (die Objekte). Die Daten (feste digitale Inhalte wie Video- und Bilddateien oder umfangreiche Dokumentenbibliotheken) werden im Objektspeicher abgelegt. Gleichzeitig werden die Metadaten (kontextbezogene Informationen zu den Daten, einschließlich der Namens-ID) in einer Datenbank oder einer Objektverzeichnis-Tabelle gespeichert.

Wenn eine Anwendung eine Datei hochlädt (also „postet“), erstellt sie die Metadaten und speichert sie in der Objektverzeichnistabelle innerhalb der Objektspeicherdatenbank, während sie die Datei in der Objektspeichertabelle „ablegt“. Um die Datei später abzurufen, stellt die Anwendung zum Erhalt der Metadaten eine Anfrage an das Objektverzeichnis/die Datenbank und verwendet diese beschreibenden, identifizierenden Informationen, um die Daten zu finden oder zu „abzurufen“.

Open Source-Technologien bieten Flexibilität und Kontrolle über Datenverwaltung und Speicheroptionen, entweder als Alternative zu oder integriert in proprietäre Lösungen von Cloud-Service und anderen Anbietern.

Mit Open-Source-Tools und Zugriff auf offene APIs können Sie den Code an die spezifischen Anforderungen Ihres Unternehmens anpassen und gleichzeitig die Kompatibilität mit bestehenden proprietären Systemen gewährleisten. Dieser Ansatz bietet Ihnen die Freiheit, vorhandene Hardware zu nutzen, die Sie möglicherweise bereits besitzen, oder Hardware verschiedener Anbieter zu kombinieren, während Sie gleichzeitig von den Beiträgen der breiteren Entwickler-Community profitieren.

Alle wichtigen Open-Source-Objektspeicherlösungen halten sich an das Objektspeicherprotokoll von Amazon Simple Storage Service (Amazon S3). Es wurde erstmals 2006 eingeführt und hat sich seitdem zum De-facto-Standard für Cloud-Speicher-APIs entwickelt.

Zu den beliebten Open-Source-Lösungen zählen Ceph®, MinIO und OpenStack Swift. Obwohl diese Lösungen unterschiedliche Funktionen, Richtlinienoptionen und Methoden bieten, verfolgen sie alle dasselbe Ziel: die groß angelegte Speicherung unstrukturierter digitaler Daten mit S3-kompatiblen RESTful-APIs zu ermöglichen.

Viele bieten auch eigene APIs als Alternativen zu S3 an. OpenStack Swift beispielsweise unterstützt nicht nur die S3-API von Amazon, sondern bietet auch eine eigene Swift-API mit einzigartigen Funktionen. Ceph Object Storage ist S3-kompatibel, unterstützt aber auch einen großen Teil der OpenStack Swift API und bietet so Flexibilität bei der Interaktion von Anwendungen mit dem Speichersystem.

• Skalierbarkeit: Unbegrenzte Skalierbarkeit ist wahrscheinlich der wichtigste Vorteil der objektbasierten Datenspeicherung. Objekte oder diskrete Dateneinheiten (in beliebiger Menge) werden in einer strukturell flachen Datenumgebung auf einem Speichermedium wie z. B. einem Server abgelegt. Sie fügen einfach weitere Geräte parallel zu einem Objektspeichercluster hinzu, um eine zusätzliche Verarbeitung zu ermöglichen und die höheren Durchsätze zu unterstützen, die für große Dateien wie Videos oder Bilder erforderlich sind.

• Reduzierte Komplexität: Objektspeicher beseitigen die Komplexität, die mit einem hierarchischen Dateisystem mit Ordnern und Verzeichnissen verbunden ist. Da keine Ordner, Verzeichnisse oder komplexen Hierarchien durchsucht werden müssen, besteht ein geringeres Risiko für Leistungsverzögerungen und eine höhere Effizienz beim Abrufen von Daten. Diese Funktion führt zu einer Leistungsverbesserung, insbesondere bei der Verwaltung sehr großer Datenmengen.

• Hohe Verfügbarkeit und Langlebigkeit: Objektspeichersysteme können so konfiguriert werden, dass Daten über mehrere Knoten oder Cluster hinweg repliziert werden. Wenn eine Festplatte oder ein Knoten ausfällt, kann das System dank dieser Redundanz ohne Datenverlust weiterarbeiten. Die Datenreplikation kann innerhalb desselben Rechenzentrums oder über geografisch verteilte Standorte hinweg erfolgen und gewährleistet sowohl hohe Verfügbarkeit als auch eine Offsite-Notfallwiederherstellung.

• Durchsuchbarkeit: Jedes Objekt ist ein eigenständiges Repository, das Metadaten oder beschreibende Informationen enthält, die mit ihm verbunden sind. Diese Metadaten verbessern die Suchbarkeit, indem sie das Auffinden und Abrufen von Objekten anhand bestimmter Attribute oder benutzerdefinierter Tags erleichtern. Neben der Unterstützung von Strategien für das Datenlebenszyklusmanagement und den Datenschutz können die Metadaten angepasst werden, um Kontext hinzuzufügen. Dies ermöglicht erweiterte Such-, Filter- und Analysefunktionen für geschäftliche Erkenntnisse zu Markttrends und mehr.

• Kosteneffizienz: Anbieter von Objektspeicherdiensten bieten in der Regel eine nutzungsabhängige Preisgestaltung an, wodurch Vorabinvestitionen entfallen. Die Kosten basieren auf der tatsächlichen Nutzung – Speichervolumen, Datenabruf, Bandbreite und API-Anfragen. Die Preisgestaltung ist gestaffelt oder volumenbasiert, mit verschiedenen Speicherklassen und Speicherebenen, die darauf ausgelegt sind, die Kosten für selten genutzte Daten oder große Datenmengen zu senken. Viele Object-Storage-Lösungen können auf standardmäßiger, herstellerneutraler Hardware ausgeführt werden, wodurch der Bedarf an neuer oder proprietärer Infrastruktur reduziert wird. Diese Flexibilität ermöglicht es Unternehmen, vorhandene Server wiederzuverwenden und kostengünstig zu skalieren.

• Sicherheit: Object Storage bietet umfassende Sicherheitsfunktionen (z. B. Verschlüsselung sowohl im Ruhezustand als auch während der Übertragung) und robuste Zugriffskontrollen durch IAM-Richtlinien. Viele Lösungen bieten auch Multi-Faktor-Authentifizierung, Data Loss Prevention (DLP)-Funktionen und die Integration mit Sicherheits-Tools für Unternehmen zur zentralen Überwachung und Erkennung von Bedrohungen.

• Cloud-Kompatibilität: Objektspeicher ist eng mit Cloud- oder gehosteten Umgebungen verbunden, die Multi-Tenant-Storage as a Service bereitstellen. Dies ermöglicht es mehreren Unternehmen oder Abteilungen innerhalb eines Unternehmens, denselben Speicherplatz gemeinsam zu nutzen, wobei jedes Unternehmen bzw. jede Abteilung Zugriff auf einen separaten Teil des Speicherbereichs hat. Dieser Ansatz des gemeinsam genutzten Speichers optimiert automatisch die Skalierung und die Kosten. Sie können die IT-Infrastruktur Ihres Unternehmens vor Ort reduzieren, indem Sie kostengünstigen Cloud-Speicher nutzen und gleichzeitig sicherstellen, dass Ihre Daten bei Bedarf zugänglich bleiben. Ihr Unternehmen kann zum Beispiel eine cloudbasierte Objektspeicherlösung nutzen, um große Mengen unstrukturierter Internet der Dinge (IoT)- und Mobilfunkdaten für Ihre Smart-Device-Apps zu sammeln und zu speichern.