Qu'est-ce que le stockage d'objets ?

Le stockage d’objets, ou stockage basé sur les objets, est une architecture de stockage de données permettant de gérer de grandes quantités de données non structurées. Ces données ne sont pas conformes à une base de données relationnelle traditionnelle avec des lignes et des colonnes, ou ne peuvent pas y être organisées facilement. Aujourd'hui, les données de communication Internet sont en grande partie non structurées. Elles comprennent des e-mails, des vidéos, des photos, des pages Web, des fichiers audio, des données de détecteurs et d’autres types de médias et de contenu Web (textuel ou non textuel). Ce contenu est diffusé en continu sur les réseaux sociaux, les moteurs de recherche, les appareils mobiles et les dispositifs « intelligents ».

Le cabinet d'études de marché IDC estime que les données non structurées sont susceptibles de représenter jusqu'à 80 % de toutes les données mondiales d'ici 2025.

Les entreprises éprouvent des difficultés à stocker et à gérer de façon efficace (et à moindre coût) ce volume de données sans précédent. Le stockage basé sur les objets est devenu la méthode privilégiée d'archivage et de sauvegarde des données. Il offre un niveau d'évolutivité que le stockage traditionnel en fichier ou en bloc ne permet pas. Avec le stockage basé sur les objets, vous pouvez stocker et gérer des volumes de données de l'ordre des téraoctets (To), des pétaoctets (Po) et plus encore.

Les objets sont des unités discrètes de données stockées dans une structure d'environnement de données à plat. Il n'y a pas de dossiers, de répertoires ou de hiérarchies complexes comme dans un système de fichiers. Chaque objet est un référentiel simple et autonome qui inclut les données, les métadonnées (informations descriptives associées à un objet) et un numéro d'identification unique (au lieu d'un nom de fichier et d'un chemin). Ces informations permettent à une application de localiser et d'accéder à l'objet. Vous pouvez regrouper des unités de stockage d'objets dans des pools de stockage plus grands et distribuer ces pools sur plusieurs sites. Cela permet une évolutivité illimitée, ainsi qu'une meilleure résilience des données et une reprise après incident.

Le stockage d'objets élimine la complexité et les problèmes d'évolutivité d'un système hiérarchique de fichiers contenant des dossiers et des répertoires. Les objets peuvent être stockés localement, mais résident le plus souvent sur des serveurs cloud et sont accessibles depuis n'importe où à travers le monde.

Les objets (données) d'un système de stockage d'objets sont accessibles via les interfaces de programmation d'applications (API). L'API native pour le stockage d'objets est une API RESTful basée sur HTTP (également appelée service Web RESTful). Ces API interrogent les métadonnées d'un objet pour localiser l'objet souhaité (données) via Internet de n'importe où, sur n'importe quel appareil. Les API RESTful utilisent des commandes HTTP comme « PUT » ou « POST » pour télécharger un objet, « GET » pour récupérer un objet et « DELETE » pour le supprimer. (HTTP signifie Hypertext Transfer Protocol et correspond à l'ensemble de règles pour le transfert de texte, d'images, de son, de vidéo et d'autres fichiers multimédias sur Internet).

Vous pouvez stocker autant de fichiers statiques que vous le souhaitez sur une instance de stockage d'objets à appeler par une API. De nouvelles normes API RESTful émergent et vont au-delà de la création, de la récupération, de la mise à jour et de la suppression d'objets. Elles permettent aux applications de gérer le stockage d'objets, ses conteneurs, ses comptes, sa multi-location, sa sécurité, sa facturation, etc.

Supposons par exemple que vous souhaitiez stocker tous les livres d'un très grand système de bibliothèque sur une seule plateforme. Vous devrez stocker le contenu des livres (données), mais également les informations associées telles que l'auteur, la date de publication, l'éditeur, le sujet, les droits d'auteur et d'autres détails (métadonnées). Vous pouvez stocker toutes ces données et métadonnées dans une base de données relationnelle, organisée dans des dossiers sous une hiérarchie de répertoires et de sous-répertoires.

Mais avec des millions de livres, le processus de recherche et de récupération sera fastidieux et chronophage. Un système de stockage d'objets fonctionne bien dans le cas présent, car les données sont statiques ou fixes. Dans cet exemple, le contenu du livre ne changera pas. Les objets (données, métadonnées et ID) sont stockés en tant que « packages » dans une structure à plat et facilement localisés et récupérés avec un seul appel API. De plus, à mesure que le nombre de livres continue d'augmenter, vous pouvez agréger des unités de stockage dans de plus grands pools de stockage et distribuer ces pools pour une évolutivité illimitée.

Il existe de nombreuses raisons d'envisager une solution de stockage d'objets pour stocker vos données, en particulier à l'ère d'Internet et des communications numériques, qui produisent de plus en plus rapidement de grands volumes de données multimédias basées sur le Web.

Stockage/gestion des données non structurées

Le stockage d'objets est largement adopté à l’ère du cloud computing et de la gestion des données non structurées qui, selon les analystes, représenteront la grande majorité de toutes les données mondiales dans un avenir proche. Le volume de contenu généré par le web (e-mails, vidéos, réseaux sociaux, documents, données des capteurs produites par les appareils de l'Internet des objets (IdO), etc.) est énorme et en plein essor. Les données non structurées sont généralement statiques (immuables) mais peuvent être requises à tout moment, n'importe où (comme les images et les fichiers vidéo, par exemple, ou les sauvegardes de données archivées).

Le stockage d'objets basé sur le cloud est idéal pour la conservation des données à long terme. Utilisez le stockage d'objets pour remplacer les méthodes de stockage traditionnelles, telles que le stockage en réseau (NAS), réduisant ainsi votre infrastructure informatique. Archivez et stockez facilement les données réglementaires obligatoires qui doivent être conservées pendant de longues périodes. Préservez de manière rentable de grandes quantités de contenu multimédia riche (images, vidéos, etc.) qui n'est que rarement consulté.

Évolutivité

L'évolutivité illimitée est peut-être l'avantage principal du stockage de données basé sur les objets. Les objets, ou unités de données discrètes (quelle que soit leur quantité), sont stockés dans une structure d'environnement de données à plat, sur une unité de stockage tel qu'un serveur. Il vous suffit d'ajouter d'autres unités/serveurs parallèlement à un cluster de stockage d'objets permettant un traitement supplémentaire et la prise en charge de débits plus élevés requis par les fichiers volumineux tels que les vidéos ou les images.

Simplification

Le stockage d'objets élimine la complexité associée à un système hiérarchique de fichiers contenant des dossiers et des répertoires. Les risques de retard de performance sont moindres et vous gagnerez en efficacité lors de la récupération des données, car il n'y a ni dossiers, ni répertoires, ni hiérarchies complexes à parcourir. Cela améliore les performances, notamment lors de la gestion de très grandes quantités de données.

Reprise après incident/disponibilité

Vous pouvez configurer des systèmes de stockage d’objets afin qu’ils répliquent le contenu. En cas de défaillance d'un disque au sein d'un cluster, un disque dupliqué est disponible, ce qui permet au système de continuer à fonctionner sans interruption ni dégradation des performances. Les données peuvent être répliquées au sein de nœuds et de clusters et entre des centres de données réparties pour permettre une sauvegarde supplémentaire hors site et même entre régions géographiques.

Le stockage d'objets est une alternative plus efficace aux solutions de sauvegarde de bande magnétique, nécessitant des bandes magnétiques qui doivent être physiquement chargées et retirées des unités de bande, puis déplacées hors site à des fins de redondance géographique. Vous pouvez utiliser le stockage d'objets pour sauvegarder automatiquement les bases de données sur site dans le cloud et/ou pour répliquer les données de manière rentable entre les centres de données réparties. Ajoutez une sauvegarde supplémentaire hors site et même dans toutes les régions géographiques pour assurer la reprise après incident.

Pour en savoir plus sur la reprise après incident, consultez « Sauvegarde et reprise après incident : guide complet. »

Métadonnées personnalisables

N'oubliez pas que chaque objet est un référentiel autonome qui comprend des métadonnées ou des informations descriptives qui lui sont associées. Les objets utilisent ces métadonnées pour des fonctions importantes telles que les règles de conservation, de suppression et de routage, les stratégies de reprise après incident (protection des données) ou la validation de l'authenticité du contenu. Vous pouvez également personnaliser les métadonnées avec un contexte supplémentaire qui peut ensuite être extrait et exploité pour effectuer des analyses métier sur le service client ou les tendances du marché, par exemple.

Prix abordable

Les services de stockage d'objets utilisent une tarification basée sur le paiement à la carte, sans frais initiaux ni investissement en capital. Il vous suffit de payer des frais d'abonnement mensuels pour un volume spécifié de capacité de stockage, de récupération des données, d'utilisation de la bande passante et de transactions API. La tarification est généralement basée sur des volumes ou sur des niveaux, ce qui signifie que vous paierez moins pour de très grands volumes de données.

Vous ferez également des économies grâce à l’utilisation de matériel de serveur standard, car les solutions de stockage d’objets ont des contraintes matérielles limitées et peuvent être déployées sur la plupart des serveurs standard correctement configurés. Cela limite le besoin d'acheter du nouveau matériel lors du déploiement d'une plateforme de stockage d'objets sur site. Vous pouvez même utiliser du matériel provenant de plusieurs fournisseurs.

Compatibilité avec le cloud

Le stockage d'objets va de pair avec les environnements cloud ou hébergés qui permettent un stockage multi-locataire en tant que service. Cela permet à de nombreuses entreprises ou services d'une entreprise de partager le même référentiel de stockage, chacun ayant accès à une partie distincte de l'espace de stockage. Cette approche de stockage partagé optimise intrinsèquement l'échelle et les coûts. Vous réduirez l'infrastructure informatique sur site de votre organisation en utilisant un stockage en cloud à faible coût tout en gardant vos données accessibles en cas de besoin. Votre entreprise, par exemple, peut utiliser une solution de stockage d'objets basée sur le cloud pour collecter et stocker de grandes quantités de données mobiles et IdO non structurées pour vos applications de dispositifs intelligents.

Les méthodes de stockage ont évolué pour s’adapter à la nature changeante des données. Celles-ci peuvent être transactionnelles et collectées en volumes plus petits soigneusement stockés dans une base de données sur une unité de disque sur un serveur. Le stockage de fichiers et le stockage en bloc sont parfaitement adaptés à ce type de données structurées et continuent de bien fonctionner dans certains cas. Cependant, Internet a changé la donne. Les entreprises peinent à gérer des volumes croissants de contenu numérique basé sur le Web (données non structurées). Le stockage basé sur les objets permet de relever ce défi.

Votre entreprise a probablement des besoins de stockage différents, en fonction de la vitesse et des exigences de performance de vos opérations informatiques. Examinez attentivement les méthodes de stockage de fichiers, en bloc et d'objets, car chacune possède ses propres avantages et inconvénients. Vous constaterez peut-être qu'une combinaison de ces architectures répondra le mieux à vos besoins en matière de stockage des données.

Stockage de fichiers

Le stockage de fichiers organise et stocke les données dans un dossier. Les fichiers sont nommés, identifiés avec des métadonnées (généralement le nom du fichier, le type de fichier et la date de création et de dernière mise à jour) et organisés en dossiers sous une hiérarchie de répertoires et de sous-répertoires. Voyez le stockage de fichiers comme un archivage de fichiers papier dans un classeur physique. Il y a plusieurs tiroirs (répertoires) et des dossiers de fichiers étiquetés dans chaque tiroir (sous-répertoires). Pour localiser un dossier particulier dans votre classeur, vous devez ouvrir le tiroir approprié et consulter les étiquettes des dossiers. De même, pour accéder aux données d'un système de stockage de fichiers, votre système informatique n'a besoin que du chemin d'accès (répertoires et sous-répertoires) dans lequel elles se trouvent. Un tel système de stockage hiérarchique fonctionne bien avec des volumes de données relativement faibles et faciles à organiser. Cependant, à mesure que le nombre de fichiers augmente, le processus de recherche et de récupération peut devenir fastidieux et chronophage.

« Stockage de fichiers : guide complet », fournit une vue d'ensemble complète du stockage en blocs.

Object Storage

Le stockage basé sur les objets est devenu la méthode privilégiée pour le stockage et la sauvegarde des données des communications numériques actuelles, qu'il s'agisse de données non structurées, de contenu Web (e-mails, vidéos, fichiers images et pages Web) et de capteurs produites par des appareils IdO. Au lieu de diviser les fichiers en blocs stockés sur des disques dans un système de fichiers, ce système de stockage considère les objets comme des unités discrètes de données stockées dans une structure d'environnement de données à plat.

Le stockage d'objets n'utilise pas de dossiers, de répertoires ni de hiérarchies complexes. Chaque objet est plutôt un référentiel simple et autonome qui comprend les données, les métadonnées et un numéro d'identification unique qu'une application utilise pour les localiser et y accéder. Dans ce cas, les métadonnées sont plus descriptives qu'avec une approche basée sur les fichiers. Vous pouvez personnaliser les métadonnées avec un contexte supplémentaire que vous pourrez ensuite extraire et exploiter à d'autres fins, telles que l'analyse des données.

Utilisez le stockage d'objets comme solution si vous avez besoin d'une capacité de stockage rentable pour vos données non structurées, dépassant largement les limites effectives des solutions de stockage en blocs et de fichiers. Le stockage d'objets est également idéal pour archiver des données qui ne changent pas fréquemment ou pas du tout (fichiers statiques), telles que des enregistrements de transactions ou des fichiers de musique, d'image et de vidéo.

Stockage en blocs

Le stockage en blocs offre une alternative au stockage basé sur des fichiers avec une efficacité et des performances améliorées. Le stockage en blocs décompose un fichier en blocs de données de taille égale et stocke ces blocs de données séparément sous une adresse unique. Vous n'avez pas besoin d'une structure de dossiers-fichiers. En revanche, vous pouvez stocker la collection de blocs n'importe où dans le système pour une efficacité maximale.

Pour accéder à un fichier, le système d'exploitation d'un serveur utilise l'adresse unique pour rassembler les blocs dans le fichier. Vous gagnerez en efficacité car le système n'a pas besoin de parcourir les répertoires et les hiérarchies de fichiers pour accéder aux blocs de données. Le stockage en blocs fonctionne bien pour les applications métier critiques, les bases de données transactionnelles et les machines virtuelles qui nécessitent une faible latence (délai minimal), un accès granulaire ou plus détaillé aux données et des performances constantes.

« Stockage en blocs : guide complet », fournit une vue d'ensemble complète du stockage en blocs.

Pour en savoir plus sur les différences et les avantages du stockage en blocs et de fichiers, consultez notre vidéo « Stockage en blocs et stockage de fichiers »

Comme nous l'avons précisé, le stockage d'objets est la solution idéale pour stocker, archiver, sauvegarder et gérer des volumes élevés de données statiques ou non structurées.

Les autres cas d’utilisation sont :

• Applications cloud natives : le stockage d'objets basé sur le cloud va de pair avec le développement d'applications cloud. Créez de nouvelles applications cloud natives ou transformez des applications existantes en applications cloud nouvelle génération en utilisant le stockage d'objets basé sur le cloud comme stockage de persistance de données. Collectez et stockez de grandes quantités de données mobiles et IdO non structurées pour vos applications de dispositifs intelligents. Mettez facilement et efficacement à jour les composants de votre application.
  
  
• IA et analyse de mégadonnées : créez un référentiel de données centralisé, en tirant parti d'un stockage d'objets rentable et évolutif. Collectez et stockez des quantités illimitées de données de tout type, à partir de n'importe quelle source. Interrogez ces données pour effectuer des analyses de mégadonnées et obtenir des informations précieuses sur vos clients, vos opérations et le marché que vous desservez.

Nous venons de voir que vous pouvez utiliser de simples appels API pour télécharger et récupérer des fichiers dans un système de stockage d’objets. Mais une application a également besoin des métadonnées de l'objet pour localiser l'objet approprié dans le stockage. C'est là qu'intervient une base de données de stockage d'objets. Cette base de données fournit une sorte de répertoire qui utilise les métadonnées de l'objet pour localiser les fichiers de données appropriés dans un système de stockage réparti.

Chaque groupe de stockage d’objets possède une base de données de stockage d’objets qui contient deux tables. L'une est un répertoire d'objets et l'autre est destinée à leur stockage.

La table du répertoire d’objets contient des informations descriptives concernant chaque objet (les métadonnées). Ce répertoire conserve le suivi de tous les objets dans la hiérarchie de stockage en enregistrant l'identifiant du nom de la collection, le nom de l'objet et d'autres informations pertinentes. Par exemple, dans la méthodologie de stockage d'objets d'IBM, la table du répertoire d'objets comprend trois « index » :

• L'horodatage de création de l'objet
  
  
• L'identifiant du nom de la collection (ID du nom), les données d'action en attente et l'horodatage de création de l'objet
  
  
• Le nom de l’objet et l'identifiant du nom de la collection

La seconde table de la base de données de stockage d’objets est la table de stockage d’objets, qui contient le contenu/fichier de données lui-même (les objets). Les données (contenus numériques fixes tels que les fichiers vidéo et image ou les bibliothèques volumineuses de documents) se trouvent dans le conteneur d'objets, tandis que les métadonnées (informations contextuelles sur les données, notamment l'ID du nom) se trouvent dans une table de base de données/répertoire d'objets.

Lorsqu'une application « publie » un fichier, elle crée les métadonnées et les stocke dans la table du répertoire d'objets de la base de données de stockage d'objets, tout en « plaçant » le fichier dans la table de stockage d'objets. Pour récupérer le fichier ultérieurement, l'application interroge le répertoire/la base de données de l'objet pour accéder aux métadonnées et utilise ces informations descriptives et d'identification pour localiser ou « obtenir » les données.

L’open source fait généralement référence à un modèle de développement de logiciels universel ou non propriétaire. Un environnement de développement open source encourage la collaboration. Le grand public bénéficie d'un accès gratuit à l'ensemble du code source, de la documentation, des kits de développement de logiciels (SDK) et des interfaces de programmation d'applications (API) de l'environnement. Les développeurs et les programmeurs peuvent modifier et améliorer le code source, puis partager, distribuer ou publier leurs contributions au sein de la communauté des développeurs. D'autres développeurs peuvent ensuite télécharger ce code ou le modifier.

Les technologies open source vous offrent le maximum de flexibilité et de contrôle sur vos options de gestion et de stockage des données. Grâce aux outils open source et à l'accès aux API ouvertes, vous pouvez personnaliser le code en fonction des exigences propres à votre organisation. Vous n'êtes pas contraint par les technologies propriétaires à mesure que vous vous développez, vous aurez au contraire la liberté d'utiliser le matériel existant en votre possession (ou une combinaison de matériel de fournisseur). Vous profiterez également des contributions d'autres développeurs au sein de la communauté dans son ensemble.

En ce qui concerne les systèmes de stockage basés sur les objets, plusieurs solutions open source sont disponibles, telles que Ceph, MinIO, OpenIO.io et SwiftStack/OpenStack Swift. Bien qu'elles présentent des fonctionnalités, des options en matière de règles et des méthodologies différentes, elles ont toutes le même objectif : permettre le stockage à grande échelle de données numériques non structurées.

Toutes les principales solutions technologiques open source adhèrent au protocole de stockage d'objets Simple Storage Service (Amazon S3) d'Amazon. Lancé en 2006, il est depuis devenu la norme de facto pour le stockage en cloud. Chacun offre un serveur de stockage d'objets open source compatible avec les API Amazon S3 RESTful. Beaucoup proposent également leur propre API ouverte comme alternative. OpenStack Swift, par exemple, prend non seulement en charge l'API S3 d'Amazon, mais offre également sa propre API Swift Open avec certaines fonctionnalités uniques. Ceph Object Storage et OpenIO.io sont compatibles S3, mais prennent également en charge un large sous-ensemble de l'API OpenStack Swift.

Alors que de plus en plus de développeurs rivalisent pour déployer et faire évoluer leurs applications plus rapidement, la conteneurisation apparait comme une solution en plein essor.

La conteneurisation est une approche de regroupement des applications qui se développe rapidement et qui offre des avantages sans précédent aux développeurs, aux infrastructures et aux équipes opérationnelles. « Conteneurisation : guide complet », vous donnera une vue d'ensemble de tout ce qui concerne la conteneurisation.

Kubernetes, à son tour, est devenu une solution de gestion de conteneurs de premier plan. Elle facilite les tâches de gestion telles que la mise à l'échelle des applications conteneurisées. Elle vous aide également à déployer de nouvelles versions d'applications et fournit des services de surveillance, de journalisation et de débogage, entre autres fonctions. Kubernetes est une plateforme open source conforme aux normes Open Container Initiative (OCI) pour les formats d'image de conteneur et les moteurs d'exécution.

Quel est le rapport entre Kubernetes et le stockage d'objets ? Le terme clé ici est « échelle ».

Kubernetes permet la gestion des conteneurs à grande échelle. La plateforme est capable d'orchestrer les conteneurs sur plusieurs hôtes et de mettre à l'échelle de façon dynamique les applications conteneurisées et leurs ressources (la mise à l'échelle automatique est l'une des principales fonctionnalités de Kubernetes). Les systèmes de stockage d'objets gèrent le stockage à grande échelle. Ces systèmes sont capables de stocker des volumes massifs de données non structurées à l'échelle du pétaoctet et plus. Ces deux approches par ajout, utilisées conjointement, créent un environnement idéal pour les charges de travail de données massives et croissantes, actuelles et futures.

L’exécution d’un système de stockage d’objets en plus de Kubernetes est un choix naturel. Utilisez Kubernetes pour la mise à disposition et la gestion d'applications conteneurisées réparties. De même, Kubernetes peut constituer l'interface de gestion unifiée pour gérer l'orchestration des pools de stockage d'objets répartis, qu'ils soient locaux ou répartis entre les centres de données, voire entre les régions géographiques.

Pour tout savoir sur Kubernetes, consultez «Kubernetes : guide complet».

Pour revenir aux concepts de base, regardez notre vidéo« L’orchestration des conteneurs expliquée ».