¿Qué es el almacenamiento de objetos?

Los datos de las comunicaciones digitales modernas son en gran medida no estructurados, lo que significa que no se ajustan (ni pueden organizarse fácilmente) a una base de datos relacional tradicional con filas y columnas. Incluyen correos electrónicos, vídeos, fotos, páginas web, archivos de audio, datos de sensores y otros tipos de medios y contenidos web (textuales o no textuales).

Todo este contenido fluye continuamente desde las redes sociales, los motores de búsqueda, los teléfonos móviles y los dispositivos inteligentes. Por ejemplo, los servicios de streaming como Netflix utilizan el almacenamiento de objetos para almacenar y ofrecer sus vastas bibliotecas de películas y programas a usuarios de todo el mundo, lo que permite un acceso instantáneo desde cualquier dispositivo y en cualquier lugar.

Con el almacenamiento de objetos, puede almacenar y gestionar volúmenes de datos que van desde terabytes (TB) hasta petabytes (PB) y más, incluidas implementaciones a escala de exabytes que alimentan las plataformas en la nube más grandes y las aplicaciones con un uso intensivo de datos de la actualidad.

Hoy en día, las empresas se enfrentan a retos constantes relacionados con el almacenamiento y la gestión de grandes volúmenes de datos de forma eficiente y rentable. El almacenamiento de objetos ofrece una solución robusta para las necesidades actuales de almacenamiento de datos, ya que proporciona una escalabilidad prácticamente ilimitada en comparación con el almacenamiento tradicional basado en archivos o bloques.

Un estudio de DataIntelo estima que el mercado global del almacenamiento de objetos alcanzará unos 6800 millones de dólares estadounidenses en 2023. El estudio también prevé que crecerá hasta alcanzar casi los 25 000 millones de dólares estadounidenses en 2032, con una tasa de crecimiento anual compuesta (TCAC) del 15,7 %¹. Este crecimiento refleja la creciente necesidad de gestionar datos no estructurados, el aumento de la adopción de la nube y la creciente dependencia del análisis de big data.

El almacenamiento de objetos ha evolucionado significativamente desde su introducción a principios de la década de 2000. Entre los hitos más importantes se encuentra el lanzamiento de S3 por parte de Amazon en 2006, que estableció el estándar de facto para las interfaces de programación de aplicaciones (API) de almacenamiento de objetos en la nube . A esto le siguió la aparición de soluciones de código abierto como OpenStack Swift en 2010 y el auge de las implementaciones de cloud híbrido a mediados de la década de 2010.

Desarrollado inicialmente para aplicaciones a escala web, el almacenamiento de objetos moderno se ha convertido en una parte integral del cloud computing y los entornos contenerizados . Las implementaciones actuales admiten características avanzadas como la clasificación inteligente de datos, capacidades de control de versiones e integración con Kubernetes y otras plataformas que automatizan la orquestación de contenedores. Entre las innovaciones recientes se incluyen la gestión de datos impulsada por IA, en la que los algoritmos de machine learning (ML) ayudan a optimizar los costes y el rendimiento del almacenamiento, y las capacidades de almacenamiento de objetos en el edge, que acercan los datos al lugar donde se consumen.

Alrededor de la misma época en que el almacenamiento de objetos ganaba terreno en los entornos nativos de la nube, muchas organizaciones comenzaron a replantearse su dependencia de las arquitecturas de almacenamiento tradicionales.

Históricamente, las empresas utilizaban costosas redes de área de almacenamiento (SAN) para gestionar el creciente volumen de datos, lo que a menudo requería importantes inversiones de capital en hardware e infraestructura de TI. A medida que aumentaba la demanda de datos, este enfoque se volvió cada vez más difícil de mantener. Los servicios de almacenamiento en la nube ofrecían una alternativa más flexible, ya que permitían a las organizaciones escalar la capacidad hacia arriba o hacia abajo según fuera necesario.

En lugar de mantener grandes redes de almacenamiento internas, las empresas ahora pueden acceder al almacenamiento como servicio (STaaS), lo que les permite reducir costes y ganar en velocidad y escalabilidad. Todos los principales proveedores de servicios en la nube pública, incluidos Amazon Web Services (AWS), Google Cloud, IBM® Cloud y Microsoft Azure, ofrecen capacidades de almacenamiento de objetos. Este cambio ha evolucionado aún más hacia enfoques de multicloud híbrido, en los que las organizaciones combinan estratégicamente el almacenamiento local con varios proveedores de servicios en la nube para optimizar el rendimiento, los costes y los requisitos de cumplimiento.

El almacenamiento en la nube abarca varias arquitecturas, incluyendo almacenamiento de archivos, bloques y objetos. Cada uno ofrece diferentes enfoques para la gestión de datos y accesibilidad. Las organizaciones modernas utilizan diferentes arquitecturas de almacenamiento en función de sus necesidades específicas y tipos de datos.

Aunque los datos estructurados y las cargas de trabajo transaccionales suelen basarse en el almacenamiento tradicional de archivos y bloques, la proliferación de contenido digital no estructurado ha hecho que el almacenamiento de objetos sea esencial para el panorama actual de los datos. Comprender estos tres métodos de almacenamiento le ayudará a elegir el enfoque más adecuado para sus necesidades.

A continuación, se ofrece un desglose de las diferencias entre el almacenamiento de objetos, el almacenamiento de archivos y el almacenamiento en bloques.

El almacenamiento de archivos organiza y almacena datos dentro de una carpeta. Los archivos se nombran, se etiquetan con metadatos (normalmente el nombre de archivo, el tipo de archivo y cuándo se creó y actualizó por última vez) y se organizan en carpetas bajo una jerarquía de directorios y subdirectorios.

Puede pensar en el almacenamiento de archivos del mismo modo que almacena los archivos físicos en papel en un archivador. Hay varios cajones (directorios) y carpetas de archivos etiquetadas dentro de cada cajón (subdirectorios).

Para localizar una carpeta de archivos concreta en su archivador, solo tiene que sacar el cajón correspondiente y mirar las etiquetas de las carpetas. Del mismo modo, para acceder a los datos de un sistema de almacenamiento de archivos, su ordenador solo necesita la ruta (directorios y subdirectorios) en la que se encuentran.

Un sistema de almacenamiento jerárquico como este funciona bien con cantidades de datos relativamente pequeñas y fácilmente organizadas. Sin embargo, a medida que aumenta el número de archivos, el proceso de búsqueda y recuperación puede resultar engorroso y llevar mucho tiempo.

El almacenamiento en bloques ofrece una alternativa al almacenamiento basado en archivos, con una mayor eficiencia y rendimiento. El almacenamiento en bloques divide un archivo en fragmentos de datos de igual tamaño y almacena estos bloques de datos por separado, bajo una dirección única. No necesita una estructura de archivos y carpetas. En su lugar, puede almacenar la colección de bloques en cualquier lugar del sistema para obtener la máxima eficiencia.

Para acceder a un archivo, el sistema operativo del servidor utiliza la dirección única para reunir los bloques y ensamblarlos en el archivo. Se gana en eficiencia, ya que el sistema no necesita navegar por directorios y jerarquías de archivos para acceder a los bloques de datos. El almacenamiento en bloques funciona bien para aplicaciones empresariales críticas, bases de datos transaccionales y máquinas virtuales que requieren un acceso a los datos con baja latencia, granular o más detallado, y un alto rendimiento constante.

En lugar de dividir los archivos en bloques u organizarlos en carpetas jerárquicas, el almacenamiento de objetos trata cada dato como una unidad discreta y direccionable. A diferencia de los sistemas de archivos que se basan en estructuras de directorios o del almacenamiento en bloques que fragmenta los datos, el almacenamiento de objetos mantiene la integridad completa de los datos dentro de cada unidad de almacenamiento.

El almacenamiento de objetos ofrece un almacenamiento rentable y enormemente escalable para datos no estructurados que supera los límites prácticos de las soluciones de bloques y archivos. Es ideal para archivar datos estáticos, como registros de cumplimiento, bibliotecas de medios y datos de copias de seguridad que no requieren modificaciones frecuentes.

Los objetos son unidades discretas de datos almacenadas en un entorno de datos estructuralmente plano, típico de los sistemas de almacenamiento de objetos. A diferencia de los sistemas de archivos tradicionales, no hay carpetas, directorios ni jerarquías complejas reales, aunque se pueden simular estructuras similares a carpetas utilizando convenciones de nomenclatura.

Cada objeto es una unidad autónoma que incluye los datos en sí, los metadatos asociados (información descriptiva sobre el objeto) y un identificador único, a menudo denominado clave de objeto. Este identificador único distingue al objeto dentro del sistema de almacenamiento y puede parecerse a una ruta de archivo, pero no representa una estructura de directorios real.

La información del repositorio permite a una aplicación localizar y acceder al objeto. Puede agregar dispositivos de almacenamiento de objetos en grupos de almacenamiento más grandes y distribuir estos grupos de almacenamiento entre distintas ubicaciones. Esta característica permite una escalabilidad ilimitada y mejora la resiliencia de datos y la recuperación ante desastres.

El almacenamiento de objetos elimina la complejidad y los retos de escalabilidad de un sistema de archivos jerárquico. Los objetos se pueden almacenar localmente en centros de datos on-premises, en servidores en la nube o en entornos híbridos y multinube, con accesibilidad desde cualquier parte del mundo. Las implementaciones modernas suelen utilizar la orquestación de contenedores y la infraestructura distribuida para gestionar los sistemas subyacentes que alimentan el almacenamiento de objetos.

Se accede a los objetos (cada uno de los cuales consta de datos, metadatos y un identificador único) en un sistema de almacenamiento de objetos a través de API. La API nativa para el almacenamiento de objetos suele ser una API RESTful basada en HTTP (también conocida como servicio web RESTful). La mayoría de los proveedores también ofrecen kits de desarrollo de software (SDK) que simplifican la interacción con estas API en varios lenguajes de programación.

Estas API utilizan el identificador único (o clave) del objeto para recuperarlo y también permiten consultar sus metadatos. Dado que las API están basadas en internet, se puede acceder a los objetos desde cualquier lugar y en cualquier dispositivo con conexión a la red.

Las API RESTful utilizan comandos HTTP como "PUT" o "POST" para cargar un objeto, "GET" para recuperarlo y "DELETE" para eliminarlo (HTTP significa "Hypertext Transfer Protocol" y es el conjunto de reglas para transferir texto, imágenes gráficas, sonido, vídeo y otros archivos multimedia en internet).

Puede almacenar cualquier número de archivos estáticos en una instancia de almacenamiento de objetos para que los llame una API. Están surgiendo más estándares de API RESTful que van más allá de la creación, recuperación, actualización y eliminación de objetos. Estos estándares permiten a las aplicaciones gestionar el almacenamiento de objetos, sus contenedores, cuentas, multitenencia, seguridad, facturación y mucho más.

Por ejemplo, supongamos que desea almacenar todos los libros de un gran sistema bibliotecario en una única plataforma. Necesita almacenar el contenido de los libros (datos), pero también la información asociada, como el autor, la fecha de publicación, la editorial, el tema, los derechos de autor y otros detalles. Puede almacenar todos estos datos y metadatos en una base de datos relacional, organizada en carpetas bajo una jerarquía de directorios y subdirectorios.

Pero con millones de libros, el proceso de búsqueda y recuperación se vuelve engorroso y lento. Un sistema de almacenamiento de objetos funciona bien porque los datos son estáticos o fijos. En este ejemplo, el contenido del libro no va a cambiar.

Los objetos se almacenan como "paquetes" en una estructura plana y se pueden localizar y recuperar fácilmente con una sola llamada a la API. Además, a medida que el número de libros sigue creciendo, puede agregar dispositivos de almacenamiento en grupos de almacenamiento más grandes y distribuir estos grupos de almacenamiento para obtener una escala ilimitada.

Puede utilizar llamadas API sencillas para subir y recuperar archivos en un sistema de almacenamiento de objetos, pero una aplicación también necesita los metadatos del objeto para localizar el objeto adecuado en el almacenamiento. Aquí es donde entra en juego una base de datos de almacenamiento de objetos. Esta base de datos proporciona una especie de directorio que utiliza los metadatos del objeto para localizar los archivos de datos adecuados en un sistema de almacenamiento distribuido.

Cada grupo de almacenamiento de objetos tiene una base de datos de almacenamiento de objetos que contiene dos tablas:

• Tabla de directorio de objetos

• Tabla de almacenamiento de objetos

La tabla del directorio de objetos contiene información descriptiva sobre cada objeto (los metadatos). Este directorio realiza un seguimiento de todos los objetos de la jerarquía de almacenamiento mediante el registro del identificador del nombre de la colección, el nombre del objeto y otra información pertinente. Por ejemplo, en las metodologías comunes de almacenamiento de objetos, la tabla del directorio de objetos incluye tres índices principales:

• La marca de tiempo de creación del objeto

• El identificador del nombre de la colección (ID de nombre) y la marca de tiempo de creación del objeto

• El nombre del objeto y el identificador del nombre de la colección

La tabla de almacenamiento de objetos contiene el contenido de los datos o el propio archivo (los objetos). Los datos (contenido digital fijo, como archivos de vídeo e imagen o grandes bibliotecas de documentos) se encuentran en el almacén de objetos. Por su parte, los metadatos (información contextual sobre los datos, incluido el nombre de identificación) residen en una base de datos o tabla de directorio de objetos.

Cuando una aplicación "publica" un archivo, crea los metadatos y los almacena en la tabla de directorio de objetos dentro de la base de datos de almacenamiento de objetos, además de "colocar" el archivo en la tabla de almacenamiento de objetos. Para recuperar el archivo más tarde, la aplicación consulta el directorio de objetos o la base de datos en busca de los metadatos y utiliza esa información descriptiva e identificativa para localizar u "obtener" los datos.

Las tecnologías de código abierto ofrecen flexibilidad y control sobre las opciones de gestión y almacenamiento de datos, ya sea como alternativas o integradas junto con soluciones propietarias de proveedores de servicios en la nube y otros proveedores.

Con las herramientas de código abierto y el acceso a las API abiertas, puede personalizar el código para que se adapte a los requisitos específicos de su organización y, al mismo tiempo, mantener la compatibilidad con los sistemas propietarios existentes. Este enfoque ofrece la libertad de utilizar el hardware existente que pueda tener o combinar hardware de diferentes proveedores, a la vez que se beneficia de las contribuciones de una comunidad de desarrolladores más amplia.

Todas las principales soluciones de almacenamiento de objetos de código abierto se adhieren al protocolo de almacenamiento de objetos Simple Storage Service (Amazon S3) de Amazon. Se introdujo por primera vez en 2006 y, desde entonces, se ha convertido en el estándar de facto para las API de almacenamiento en la nube.

Entre las soluciones de código abierto más populares se incluyen Ceph, MinIO y OpenStack Swift. Aunque estas soluciones ofrecen diferentes características, opciones de políticas y metodologías, todas ellas persiguen el mismo objetivo: permitir el almacenamiento a gran escala de datos digitales no estructurados con API RESTful compatibles con S3.

Muchas de ellas también ofrecen sus propias API como alternativas a S3. OpenStack Swift, por ejemplo, no solo es compatible con la API S3 de Amazon, sino que también ofrece su propia API Swift con capacidades únicas. Ceph Object Storage es compatible con S3, pero también admite un amplio subconjunto de la API OpenStack Swift, lo que proporciona flexibilidad en la forma en que las aplicaciones interactúan con el sistema de almacenamiento.

• Escalabilidad: la escala ilimitada es quizá la ventaja más significativa del almacenamiento de datos basado en objetos. Los objetos, o unidades discretas de datos (en cualquier cantidad), se almacenan en un entorno de datos estructuralmente plano dentro de un dispositivo de almacenamiento, como un servidor. Simplemente puede añadir más dispositivos o servidores en paralelo a un clúster de almacenamiento de objetos para obtener un procesamiento adicional y admitir los mayores rendimientos que requieren los archivos de gran tamaño, como vídeos o imágenes.

• Complejidad reducida: el almacenamiento de objetos elimina la complejidad que conlleva un sistema de archivos jerárquico con carpetas y directorios. Hay menos posibilidades de que se produzcan retrasos en el rendimiento y se gana en eficiencia a la hora de recuperar datos, ya que no hay carpetas, directorios ni jerarquías complejas por las que navegar. Esta capacidad mejora el rendimiento, especialmente cuando se gestionan grandes cantidades de datos.

• Alta disponibilidad y durabilidad: los sistemas de almacenamiento de objetos se pueden configurar para replicar datos en varios nodos o clústeres. Si falla un disco o un nodo, el sistema puede seguir funcionando sin pérdida de datos gracias a esta redundancia. La replicación de datos puede realizarse dentro del mismo centro de datos o entre ubicaciones distribuidas geográficamente, lo que garantiza tanto la alta disponibilidad como la recuperación ante desastres.

• Capacidad de búsqueda: cada objeto es un repositorio autónomo que incluye metadatos o información descriptiva asociada al mismo. Estos metadatos mejoran la capacidad de búsqueda al facilitar la localización y recuperación de objetos en función de atributos específicos o etiquetas personalizadas. Además de respaldar la gestión del ciclo de vida de los datos y las estrategias de protección de datos, los metadatos se pueden personalizar para añadir contexto, lo que permite realizar búsquedas avanzadas, filtrar y analizar conocimientos empresariales relacionados con las tendencias del mercado y mucho más.

• Rentabilidad: los proveedores de servicios de almacenamiento de objetos suelen ofrecer precios de pago por uso que eliminan la inversión inicial de capital. Los costes se basan en el uso real: volumen de almacenamiento, recuperación de datos, ancho de banda y solicitudes de API. Los precios son escalonados o basados en el volumen, con diferentes clases y niveles de almacenamiento, diseñados para reducir los costes de los datos a los que se accede con poca frecuencia o de los grandes volúmenes. Muchas soluciones de almacenamiento de objetos pueden ejecutarse en hardware estándar e independiente del proveedor, lo que reduce la necesidad de una infraestructura nueva o propietaria. Esta flexibilidad permite a las organizaciones reutilizar los servidores existentes y escalar de forma asequible.

• Seguridad: el almacenamiento de objetos proporciona características de seguridad integrales (por ejemplo, cifrado tanto en reposo como en tránsito) y controles de acceso robustos a través de políticas de IAM. Muchas soluciones también ofrecen autenticación multifactor, capacidades de prevención de pérdida de datos (DLP) e integración con herramientas de seguridad empresarial para la monitorización centralizada y la detección de amenazas.

• Compatibilidad con la nube:  el almacenamiento de objetos está estrechamente relacionado con la nube o los entornos alojados que ofrecen almacenamiento multitenant como servicio. Esto permite que muchas empresas o departamentos dentro de una misma empresa compartan el mismo repositorio de almacenamiento, y que cada uno de ellos tenga acceso a una parte independiente del espacio de almacenamiento. Este enfoque de almacenamiento compartido optimiza de forma inherente la escala y los costes. Puede reducir la infraestructura de TI in situ de su organización utilizando almacenamiento en la nube de bajo coste, al tiempo que mantiene sus datos accesibles cuando sea necesario. Su empresa, por ejemplo, puede utilizar una solución de almacenamiento de objetos basada en la nube para recopilar y almacenar grandes cantidades de datos no estructurados del Internet de las cosas (IoT) y datos móviles para sus aplicaciones de dispositivos inteligentes.