¿Qué es el almacenamiento de objetos?

Los datos de las comunicaciones digitales modernas están en gran medida desestructurados, lo que significa que no se ajustan a (ni pueden organizar fácilmente en) una base de datos relacional tradicional con filas y columnas. Incluye correo electrónico, videos, fotos, páginas web, archivos de audio, datos de sensores y otros tipos de contenido multimedia y web (textual o no textual).

Todo este contenido se transmite continuamente desde las redes sociales, los motores de búsqueda, los teléfonos móviles y los dispositivos inteligentes. Por ejemplo, servicios de streaming como Netflix usan almacenamiento de objetos para almacenar y entregar sus vastas bibliotecas de películas y programas a usuarios de todo el mundo, permitiendo el acceso instantáneo desde cualquier dispositivo y lugar.

Con el almacenamiento de objetos, puede almacenar y gestionar volúmenes de datos que van desde terabytes (TB) hasta petabytes (PB) y más, incluidos despliegues a escala de exabytes que impulsan las plataformas en la nube y las aplicaciones intensivas en datos más grandes de la actualidad.

Hoy en día, las empresas se enfrentan a desafíos continuos relacionados con el almacenamiento y la gestión de volúmenes masivos de datos de manera eficiente y rentable. El almacenamiento de objetos proporciona una solución robusta para las necesidades de almacenamiento de datos modernas, ya que ofrece escalabilidad prácticamente ilimitada en comparación con el almacenamiento tradicional basado en archivos o bloques.

Un estudio de DataIntelo estima que el mercado global de almacenamiento de objetos ascenderá a unos 6800 millones de dólares en 2023. El estudio también prevé que crezca hasta casi 25 000 millones de dólares en 2032, con una tasa de crecimiento anual compuesta (TCAC) del 15.7 %^. 1 Este crecimiento refleja la creciente necesidad de manejar datos no estructurados, una mayor adopción de la nube y la creciente dependencia de analytics de big data.

El almacenamiento de objetos ha evolucionado significativamente desde su introducción a principios de la década de 2000. Los hitos clave incluyen el lanzamiento de Amazon de S3 en 2006, que estableció el estándar de facto para las interfaces de programación de aplicaciones (API) de almacenamiento de objetos en la nube . Luego le sigue la aparición de soluciones de código abierto como OpenStack Swift en 2010 y el auge de los despliegues de nube híbrida a mediados de la década de 2010.

Desarrollado inicialmente para aplicaciones a escala web, el almacenamiento de objetos moderno se ha convertido en parte integral de la computación en la nube y los entornos de contenedores. Las implementaciones actuales admiten características avanzadas, como la organización inteligente de datos en niveles, las capacidades de control de versiones y la integración con Kubernetes y otras plataformas que automatizan la orquestación de contenedores. Las innovaciones recientes incluyen la gestión de datos impulsada por IA, donde los algoritmos de machine learning (ML) ayudan a optimizar los costos de almacenamiento y el rendimiento, y capacidades de almacenamiento de objetos edge que acercan los datos a donde se consumen.

Casi al mismo tiempo que el almacenamiento de objetos estaba ganando terreno en los entornos nativos de la nube, muchas organizaciones comenzaron a repensar su dependencia de las arquitecturas tradicionales de almacenamiento.

Históricamente, las empresas utilizaban costosas redes de área de almacenamiento (SAN) para gestionar el crecimiento de los volúmenes de datos, lo que a menudo requería grandes inversiones de capital en hardware e infraestructura de TI . Con el aumento de la demanda de datos, este enfoque se hizo cada vez más difícil de mantener. Los servicios de almacenamiento en la nube ofrecían una alternativa más flexible, lo que permitía a las organizaciones aumentar o reducir la capacidad según fuera necesario.

En lugar de mantener grandes redes de almacenamiento internas, las empresas ahora podían acceder al almacenamiento como servicio (STaaS),lo que reduce los costos y gana velocidad y escalabilidad. Todos los principales proveedores de servicios en la nube, incluidos Amazon Web Services (AWS), Google Cloud, IBM® Cloud , Microsoft Azure, ofrecen capacidades de almacenamiento de objetos. Este cambio ha evolucionado aún más hacia enfoques de multinube híbrida, donde las organizaciones combinan estratégicamente el almacenamiento on premises con múltiples proveedores de la nube para optimizar el rendimiento, costo y cumplimiento.

El almacenamiento en la nube abarca varias arquitecturas, incluido el almacenamiento de archivos, bloques y objetos. Cada uno ofrece diferentes enfoques para la gestión y accesibilidad de los datos. Las organizaciones modernas utilizan diferentes arquitecturas de almacenamiento en función de sus necesidades específicas y tipos de datos.

Si bien los datos estructurados y las cargas de trabajo transaccionales a menudo dependen del almacenamiento tradicional de archivos y bloques, la proliferación de contenido digital no estructurado ha hecho que el almacenamiento de objetos sea esencial para el ámbito de datos actual. Comprender estos tres métodos de almacenamiento le ayuda a elegir el enfoque adecuado para sus necesidades.

A continuación, se ofrece un desglose de las diferencias entre el almacenamiento de objetos, el almacenamiento de archivos y el almacenamiento en bloques.

El almacenamiento de archivos organiza y almacena datos dentro de una carpeta. Los archivos se nombran, se etiquetan con metadatos (por lo general, el nombre del archivo, el tipo de archivo y cuándo se creó y se actualizó por última vez) y se organizan en carpetas bajo una jerarquía de directorios y subdirectorios.

El almacenamiento de archivos es equivalente a almacenar archivos físicos en un archivador. Hay varios cajones (directorios) y carpetas de archivos etiquetadas dentro de cada cajón (subdirectorios).

Para ubicar una carpeta de archivos en particular en su archivador, usted saca el cajón pertinente y mira las etiquetas de las carpetas. De la misma manera, para acceder a los datos en un sistema de almacenamiento de archivos, su sistema informático solo requiere la ruta (directorios y subdirectorios) en la que encontrarlos.

Un sistema de almacenamiento jerárquico como este funciona bien con cantidades de datos relativamente pequeñas y fáciles de organizar. Sin embargo, a medida que aumenta la cantidad de archivos, el proceso de búsqueda y recuperación puede volverse engorroso y lento.

El almacenamiento en bloques ofrece una alternativa al almacenamiento de archivos, con mejor eficiencia y rendimiento. El almacenamiento en bloques divide un archivo en fragmentos de datos de igual tamaño y almacena estos bloques de datos por separado, bajo una dirección única. No es necesaria una estructura de carpetas de archivos. En cambio, puede almacenar la colección de bloques en cualquier lugar del sistema para lograr máxima eficiencia.

Para acceder a un archivo, un sistema operativo de servidor utiliza la dirección única para volver a unir los bloques, ensamblándolos en el archivo. Se gana eficiencia ya que el sistema no necesita navegar por directorios y jerarquías de archivos para acceder a los bloques de datos. El almacenamiento en bloques funciona bien para aplicaciones empresariales críticas, bases de datos transaccionales y máquinas virtuales que requieren bajalatencia, acceso granular o más detallado a los datos y un alto rendimiento constante.

En lugar de dividir los archivos en bloques u organizarlos en carpetas jerárquicas, el almacenamiento de objetos trata cada dato como una unidad discreta y direccionable. A diferencia de los sistemas de archivos que se basan en estructuras de directorios o en almacenamiento en bloques que fragmentan los datos, el almacenamiento de objetos mantiene la integridad completa de los datos dentro de cada unidad de almacenamiento.

El almacenamiento de objetos ofrece un almacenamiento escalable y rentable para datos no estructurados que supera los límites prácticos de las soluciones de bloques y archivos. Es ideal para archivar datos estáticos, como registros de cumplimiento, bibliotecas de medios y datos de respaldo que no requieren modificaciones frecuentes.

Los objetos son unidades discretas de datos almacenadas en un entorno de datos estructuralmente plano típico de los sistemas de almacenamiento de objetos. A diferencia de los sistemas de archivos tradicionales, no hay verdaderas carpetas, directorios o jerarquías complejas, aunque las estructuras similares a carpetas se pueden simular mediante convenciones de nomenclatura.

Cada objeto es una unidad autónoma que incluye los datos en sí, los metadatos asociados (información descriptiva sobre el objeto) y un identificador único, a menudo llamado clave de objeto. Este identificador único distingue el objeto dentro del sistema de almacenamiento y puede parecerse a una ruta de archivo, pero no representa una estructura de directorio real.

La información del repositorio permite que una aplicación localice y acceda al objeto. Puede agregar dispositivos de almacenamiento de objetos en grupos de almacenamiento más grandes y distribuir estos grupos de almacenamiento en todas las ubicaciones. Esta característica permite una escala ilimitada y una mayor resiliencia de los datos y recuperación ante desastres.

El almacenamiento de objetos elimina los desafíos de complejidad y escalabilidad de un sistema de archivos jerárquico. Los objetos se pueden almacenar on premises en centros de datos, en servidores en la nube o en entornos híbridos y multinube, con accesibilidad desde cualquier parte del mundo. Los despliegues modernos suelen utilizar la orquestación de contenedores y la infraestructura distribuida para gestionar los sistemas subyacentes que impulsan el almacenamiento de objetos.

Se accede a los objetos, cada uno de los cuales consta de datos, metadatos y un identificador único, en un almacenamiento de objetos a través de API. La API nativa para el almacenamiento de objetos suele ser una API RESTful basada en HTTP (también conocida como servicio web RESTful). La mayoría de los proveedores también ofrecen kits de desarrollo de software (SDK) que simplifican la interacción con estas API en varios lenguajes de programación.

Estas API usan el identificador único (o clave) del objeto para recuperar el objeto y también pueden permitir consultar sus metadatos. Debido a que las API están basadas en Internet, se puede acceder a los objetos desde cualquier lugar, en cualquier dispositivo con conectividad de red.

Las API RESTful utilizan comandos HTTP como "PUT" o "POST" para cargar un objeto, "GET" para recuperar un objeto y "DELETE" para eliminarlo. (HTTP significa "Protocolo de transferencia de hipertexto" y es el conjunto de reglas para transferir texto, imágenes gráficas, sonido, video y otros archivos multimedia en Internet).

Puede almacenar cualquier cantidad de archivos estáticos en una instancia de almacenamiento de objetos para que una API los llame. Están surgiendo más estándares de API RESTful que van más allá de la creación, recuperación, actualización y eliminación de objetos. Estos estándares permiten que las aplicaciones administren el almacenamiento de objetos, sus contenedores, cuentas, multitenencia, seguridad, facturación y más.

Por ejemplo, suponga que desea almacenar todos los libros en un sistema de bibliotecas grande en una sola plataforma. Debe almacenar el contenido de los libros (datos), pero también la información asociada como el autor, la fecha de publicación, el editor, el tema, los derechos de autor y otros detalles. Podría almacenar todos estos datos y metadatos en una base de datos relacional, organizada en carpetas bajo una jerarquía de directorios y subdirectorios.

Pero con millones de libros, el proceso de búsqueda y recuperación se vuelve engorroso y lento. Un almacenamiento de objetos funciona bien porque los datos son estáticos o fijos. En este ejemplo, el contenido de los libros no va a cambiar.

Los objetos se almacenan como "paquetes" en una estructura plana y se localizan y recuperan fácilmente con una sola llamada a la API. Además, a medida que la cantidad de libros sigue creciendo, puede agregar dispositivos de almacenamiento a grupos de almacenamiento más grandes y distribuir estos grupos de almacenamiento para un escalado ilimitado.

Puede usar llamadas de API simples para cargar y recuperar archivos en un sistema de almacenamiento de objetos. Pero una aplicación también necesita los metadatos del objeto para localizar el objeto adecuado en almacenamiento. Aquí es donde entra en juego una base de datos de almacenamiento de objetos. Esta base de datos proporciona una especie de directorio que utiliza los metadatos del objeto para localizar los archivos de datos pertinentes en un sistema de almacenamiento distribuido.

Cada grupo de almacenamiento de objetos tiene una base de datos de almacenamiento de objetos que contiene dos tablas:

• Tabla de directorios de objetos

• Tabla de almacenamiento de objetos

La tabla del directorio de objetos contiene información descriptiva sobre cada objeto (los metadatos). Este directorio rastrea todos los objetos en la jerarquía de almacenamiento al registrar el identificador del nombre de la colección, el nombre del objeto y otra información pertinente. Por ejemplo, en las metodologías de almacenamiento de objetos comunes, la tabla de directorios de objetos incluye tres índices principales:

• La marca de tiempo de creación del objeto

• El identificador del nombre de la colección (ID del nombre) y la marca de tiempo de creación del objeto

• El nombre del objeto y el identificador del nombre de la recopilación

La tabla de almacenamiento de objetos contiene el contenido de datos o el archivo en sí (los objetos). Los datos (contenidos digitales fijos como archivos de video e imagen o grandes bibliotecas de documentos) se almacenan en el almacen de objetos. Mientras tanto, los metadatos (información contextual sobre los datos, incluido el ID del nombre) residen en una base de datos o en una tabla del directorio de objetos.

Cuando una aplicación “publica” un archivo, crea los metadatos y lo almacena en la tabla de directorio de objetos dentro de la base de datos de almacenamiento de objetos, y “coloca” el archivo en la tabla de almacenamiento de objetos. Para recuperar el archivo más tarde, la aplicación consulta el directorio/base de datos de objetos en busca de los metadatos y utiliza esa información descriptiva para localizar u “obtener” los datos.

Las tecnologías de código abierto ofrecen flexibilidad y control sobre las opciones de gestión y almacenamiento de datos, ya sea como alternativas o integradas junto con soluciones patentadas de proveedores de servicios en la nube y otros proveedores.

Con herramientas de código abierto y acceso a API abiertas, puede personalizar el código para que se adapte a los requerimientos específicos de su organización mientras mantiene la compatibilidad con los sistemas propietarios existentes. Este enfoque ofrece la libertad de usar el hardware existente que pueda poseer o mezclar hardware de diferentes proveedores, al tiempo que se beneficia de las contribuciones de la comunidad de desarrolladores más amplia.

Todas las principales soluciones de almacenamiento de objetos de código abierto se adhieren al protocolo de almacenamiento de objetos Simple Storage Service (Amazon S3) de Amazon. Se introdujo por primera vez en 2006 y, desde entonces, se ha convertido en el estándar de facto para las API de almacenamiento en la nube.

Entre las soluciones de código abierto más populares se encuentran Ceph, MinIO y OpenStack Swift. Aunque estas soluciones ofrecen diferentes características, opciones de políticas y metodologías, cada una sirve al mismo objetivo: permitir el almacenamiento a gran escala de datos digitales no estructurados con API RESTful compatibles con S3.

Muchos también ofrecen sus propias API como alternativas a S3. OpenStack Swift, por ejemplo, no solo soporta la API S3 de Amazon, sino que también ofrece su propia API Swift con capacidades únicas. Ceph Object Storage es compatible con S3, pero también soporta un gran subconjunto de la API OpenStack Swift, lo que proporciona flexibilidad en la forma en que las aplicaciones interactúan con el sistema de almacenamiento.

• Escalabilidad: el escalado ilimitado es quizás la ventaja más significativa del almacenamiento de datos basado en objetos. Los objetos, o unidades discretas de datos (en cualquier cantidad), se almacenan en un entorno de datos estructuralmente plano dentro de un dispositivo de almacenamiento, como un servidor. Simplemente puede agregar más dispositivos o servidores en paralelo a un clúster de almacenamiento de objetos para obtener procesamiento adicional y admitir los rendimientos más altos que requieren los archivos grandes, como videos o imágenes.

• Complejidad reducida: el almacenamiento de objetos elimina la complejidad que conlleva un sistema de archivos jerárquico con carpetas y directorios. Hay menos posibilidades de que se produzcan retrasos en el rendimiento y más eficiencia al momento de recuperar datos, ya que no hay carpetas, directorios ni jerarquías complejas por las que navegar. Esta capacidad mejora el rendimiento, especialmente cuando se gestionan grandes cantidades de datos.

• Alta disponibilidad y durabilidad: los sistemas de almacenamiento de objetos se pueden configurar para replicar datos en varios nodos o clústeres. Si un disco o nodo falla, el sistema puede continuar operando sin pérdida de datos debido a esta redundancia. La replicación de datos puede ocurrir dentro del mismo centro de datos o en ubicaciones distribuidas geográficamente, lo que garantiza tanto la alta disponibilidad como la recuperación ante desastres fuera del sitio.

• Capacidad de búsqueda: cada objeto es un repositorio autónomo que incluye metadatos o información descriptiva asociada a él. Estos metadatos mejoran la capacidad de búsqueda al facilitar la localización y recuperación de objetos en función de atributos específicos o etiquetas personalizadas. Además de respaldar la gestión del ciclo de vida de los datos y las estrategias de protección de datos, los metadatos se pueden personalizar para agregar contexto, lo que permite la búsqueda avanzada, el filtrado y las analytics para obtener insight empresarial sobre las tendencias del mercado y más.

• Rentabilidad: los proveedores de almacenamiento de objetos suelen ofrecer precios de pago por uso que eliminan la inversión de capital inicial. Los costos se basan en el uso real: volumen de almacenamiento, recuperación de datos, ancho de banda y solicitudes de API. Los precios están escalonados o basados en volúmenes, con diferentes clases de almacenamiento y niveles de almacenamiento, diseñados para reducir los costos de los datos a los que se accede con poca frecuencia o los grandes volúmenes. Muchas soluciones de almacenamiento de datos pueden ejecutar en hardware estándar y neutral del proveedor, lo que reduce la necesidad de una infraestructura nueva o patentada. Esta flexibilidad permite a las organizaciones reutilizar los servidores existentes y escalar de forma asequible.

• Seguridad: el almacenamiento de objetos proporciona características de seguridad integrales (por ejemplo, cifrado tanto en reposo como en tránsito) y controles de acceso sólidos a través de políticas de IAM. Muchas soluciones también ofrecen autenticación multifactor, capacidades de prevención de pérdida de datos (DLP) e integración con herramientas de seguridad empresarial para monitoreo centralizado y detección de amenazas.

• Compatibilidad con la nube: el almacenamiento de objetos está estrechamente relacionado con la nube o con entornos alojados que ofrecen almacenamiento de múltiples inquilinos como servicio. Esto permite que muchas empresas o departamentos dentro de una empresa compartan el mismo repositorio de almacenamiento, y cada uno tiene acceso a una parte independiente del espacio de almacenamiento. Este método de almacenamiento compartido optimiza de manera inherente el escalado y los costos. Puede reducir la infraestructura de TI local de su organización utilizando un almacenamiento en la nube de bajo costo y, al mismo tiempo, mantendrá el acceso a sus datos cuando sea necesario. Su empresa, por ejemplo, puede utilizar una solución de almacenamiento de objetos basada en la nube para recopilar y almacenar grandes cantidades de datos móviles y de Internet de las cosas (IoT) no estructurados para sus aplicaciones de dispositivos inteligentes.