O que é armazenamento de objetos?

Os dados das comunicações digitais modernas são em grande parte não estruturados, o que significa que não seguem (nem podem ser facilmente organizados em) um banco de dados relacional tradicional com linhas e colunas. Eles incluem e-mail, vídeos, fotos, páginas da web, arquivos de áudio, dados de sensores e outros tipos de mídia e conteúdo da web (textual ou não textual).

Todo esse conteúdo flui continuamente de mídias sociais, mecanismos de busca, celulares e dispositivos inteligentes. Por exemplo, serviços de streaming como a Netflix usam armazenamento de objetos para armazenar e entregar suas vastas bibliotecas de filmes e séries a usuários em todo o mundo, permitindo acesso instantâneo a partir de qualquer dispositivo, em qualquer lugar.

Com o armazenamento de objetos, é possível armazenar e gerenciar volumes de dados que variam de terabytes (TBs) a petabytes (PBs) e além — incluindo implementações em escala de exabytes que alimentam as maiores plataformas de nuvem e aplicações intensivas em dados da atualidade.

Hoje, as empresas enfrentam desafios contínuos relacionados ao armazenamento e gerenciamento de volumes massivos de dados de forma eficiente e econômica. O armazenamento de objetos fornece uma solução robusta para as necessidades modernas de armazenamento de dados, pois oferece escalabilidade praticamente ilimitada em comparação ao armazenamento tradicional baseado em arquivos ou blocos.

Um estudo da DataIntelo estima o mercado global de armazenamento de objetos em cerca de USD 6,8 bilhões em 2023. O estudo também projeta que ele cresça para quase USD 25 bilhões até 2032, com uma taxa de crescimento anual composta (CAGR) de 15,7%.¹ Esse crescimento reflete a crescente necessidade de lidar com dados não estruturados, o aumento da adoção de nuvem e a dependência crescente de análise de big data.

O armazenamento de objetos evoluiu significativamente desde sua introdução no início dos anos 2000. Marcos importantes incluem o lançamento do S3 pela Amazon em 2006, que estabeleceu o padrão de fato para APIs de armazenamento de objetos em nuvem. Em seguida, surgiu o OpenStack Swift em 2010 como uma solução de código aberto, e a ascensão das implementações de nuvem híbrida em meados da década de 2010.

Inicialmente desenvolvido para aplicações em escala web, o armazenamento de objetos moderno tornou-se parte integrante da computação em nuvem e de ambientes conteinerizados. As implementações atuais oferecem recursos avançados, como classificação inteligente de dados em camadas, versionamento e integração com Kubernetes e outras plataformas que automatizam a orquestração de contêineres. Inovações recentes incluem IA aplicada ao gerenciamento de dados, em que algoritmos de aprendizado de máquina (ML) ajudam a otimizar custos e desempenho do armazenamento, além de recursos de armazenamento de objetos em edge, que aproximam os dados de onde eles são consumidos.

Na mesma época em que o armazenamento de objetos ganhava força em ambientes nativos da nuvem, muitas organizações começaram a repensar sua dependência das arquiteturas de armazenamento tradicionais.

Historicamente, as empresas usavam redes de área de armazenamento (SANs) caras para gerenciar volumes crescentes de dados, muitas vezes exigindo grandes investimentos de capital em hardware e infraestrutura de TI. À medida que as demandas por dados aumentaram, essa abordagem tornou-se cada vez mais difícil de sustentar. Os serviços de armazenamento em nuvem ofereceram uma alternativa mais flexível, permitindo que as organizações escalassem a capacidade para cima ou para baixo conforme necessário.

Em vez de manter grandes redes de armazenamento internas, as empresas podiam agora acessar armazenamento como serviço (STaaS) — reduzindo custos e ganhando velocidade e escalabilidade. Todos os principais provedores de serviços públicos de nuvem, incluindo Amazon Web Services (AWS), Google Cloud, IBM Cloud e Microsoft Azure, oferecem recursos de armazenamento de objetos. Essa mudança evoluiu ainda mais para abordagens de multinuvem híbrida, nas quais as organizações combinam estrategicamente o armazenamento local com vários provedores de nuvem para otimizar o desempenho, o custo e os requisitos de conformidade.

O armazenamento em nuvem abrange várias arquiteturas, incluindo armazenamento em arquivos, blocos e objetos. Cada uma oferece abordagens diferentes para gerenciamento e acessibilidade de dados. As organizações modernas utilizam arquiteturas de armazenamento distintas dependendo de suas necessidades específicas e dos tipos de dados.

Enquanto dados estruturados e cargas de trabalho transacionais frequentemente dependem do armazenamento tradicional em arquivos e blocos, a proliferação de conteúdo digital não estruturado tornou o armazenamento de objetos essencial para o cenário de dados atual. Entender esses três métodos de armazenamento ajuda a escolher a abordagem correta para os seus requisitos.

Aqui está uma comparação entre armazenamento em objetos versus arquivos versus blocos.

Armazenamento em arquivos organiza e armazena dados dentro de uma pasta. Os arquivos são nomeados, marcados com metadados (geralmente o nome do arquivo, tipo de arquivo, quando foi criado e quando foi atualizado por último) e organizados em pastas sob uma hierarquia de diretórios e subdiretórios.

Você pode pensar no armazenamento de arquivos da mesma forma que armazena arquivos físicos em papel em um armário de arquivamento. Há múltiplas gavetas (diretórios) e pastas de arquivos rotuladas dentro de cada gaveta (subdiretórios).

Para localizar uma pasta específica em um arquivo físico, você abre a gaveta correta e verifica os rótulos das pastas. Da mesma forma, para acessar os dados em um sistema de armazenamento em arquivos, seu sistema de computador requer apenas o caminho (diretórios e subdiretórios) onde encontrá-los.

Um sistema de armazenamento hierárquico como esse funciona bem com quantidades de dados relativamente pequenas e facilmente organizadas. No entanto, à medida que o número de arquivos cresce, o processo de busca e recuperação pode se tornar complicado e demorado.

Armazenamento em blocos oferece uma alternativa ao armazenamento baseado em arquivos — com maior eficiência e desempenho. O armazenamento em blocos divide um arquivo em fragmentos de dados de tamanho igual e armazena esses blocos separadamente, sob um endereço exclusivo. Não é necessário ter uma estrutura de pastas. Em vez disso, é possível armazenar os blocos em qualquer lugar do sistema para máxima eficiência.

Para acessar um arquivo, um sistema operacional usa o endereço exclusivo para reunir os blocos e remontar o arquivo. A eficiência aumenta, pois o sistema não precisa navegar por diretórios e hierarquias de arquivos para acessar os blocos de dados. O armazenamento em blocos funciona bem para aplicações críticas de negócios, bancos de dados transacionais e máquinas virtuais que exigem baixa latência, acesso granular ou mais detalhado aos dados e desempenho consistente em alto nível.

Em vez de dividir arquivos em blocos ou organizá-los em pastas hierárquicas, o armazenamento em objetos trata cada pedaço de dado como uma unidade discreta e endereçável. Diferentemente dos sistemas de arquivos que dependem de estruturas de diretórios ou do armazenamento em blocos que fragmenta os dados, o armazenamento em objetos mantém a integridade dos dados completa dentro de cada unidade de armazenamento.

O armazenamento em objetos oferece armazenamento econômico e massivamente escalável para dados não estruturados, superando os limites práticos das soluções em blocos e arquivos. Ele é ideal para arquivar dados estáticos, como registros de conformidade, bibliotecas de mídia e dados de backup que não exigem modificações frequentes.

Os objetos são unidades discretas de dados armazenadas em um ambiente estruturalmente plano, típico dos sistemas de armazenamento em objetos. Diferentemente dos sistemas de arquivos tradicionais, não há pastas verdadeiras, diretórios ou hierarquias complexas — embora estruturas semelhantes a pastas possam ser simuladas por convenções de nomenclatura.

Cada objeto é uma unidade autônoma que inclui os próprios dados, metadados associados (informações descritivas sobre o objeto) e um identificador exclusivo, geralmente chamado de chave de objeto. Esse identificador exclusivo distingue o objeto dentro do sistema de armazenamento e pode se assemelhar a um caminho de arquivo, mas não representa uma estrutura de diretório real.

As informações do repositório permitem que uma aplicação localize e acesse o objeto. Você pode agregar dispositivos de armazenamento de objetos em pools de armazenamento maiores e distribuí-los entre locais. Esse recurso permite escalabilidade ilimitada e melhora a resiliência de dados e a recuperação de desastres.

O armazenamento em objetos elimina a complexidade e os desafios de escalabilidade de um sistema de arquivos hierárquico. Os objetos podem ser armazenados localmente em data centers locais, em servidores de nuvem ou em ambientes híbridos e de multinuvem, com acessibilidade de qualquer lugar do mundo. As implementações modernas frequentemente usam orquestração de contêineres e infraestrutura distribuída para gerenciar os sistemas subjacentes que alimentam o armazenamento em objetos.

Os objetos — cada um consistindo em dados, metadados e um identificador exclusivo — são acessados em um sistema de armazenamento em objetos por meio de APIs. A API nativa para armazenamento em objetos é normalmente uma API RESTful baseada em HTTP (também conhecida como serviço web RESTful). A maioria dos provedores também oferece kits de desenvolvimento de software (SDKs) que simplificam a interação com essas APIs em várias linguagens de programação.

Essas APIs usam o identificador exclusivo (ou chave) do objeto para recuperá-lo e também permitem consultar seus metadados. Como as APIs são baseadas na internet, os objetos podem ser acessados de qualquer lugar, em qualquer dispositivo com conectividade de rede.

As APIs RESTful usam comandos HTTP como “PUT” ou “POST” para carregar um objeto, “GET” para recuperá-lo e “DELETE” para removê-lo. (HTTP significa Hypertext Transfer Protocol e é o conjunto de regras para transferir texto, imagens gráficas, áudio, vídeo e outros arquivos multimídia na internet.)

Você pode armazenar qualquer número de arquivos estáticos em uma instância de armazenamento de objetos para serem chamados por uma API. Mais padrões RESTful estão surgindo, indo além de criar, recuperar, atualizar e excluir objetos. Elas permitem que as aplicações gerenciem o armazenamento de objetos, seus contêineres, suas contas, sua multilocação, sua segurança, sua cobrança etc.

Por exemplo, suponha que você queira armazenar todos os livros de um grande sistema de bibliotecas em uma única plataforma. Você precisa armazenar o conteúdo dos livros (dados), mas também as informações associadas, como autor, data de publicação, editora, assunto, direitos autorais e outros detalhes. Você poderia armazenar todos esses dados e metadados em um banco de dados relacional, organizado em pastas sob uma hierarquia de diretórios e subdiretórios.

Mas, com milhões de livros, o processo de busca e recuperação torna-se pesado e demorado. Um sistema de armazenamento em objetos funciona bem porque os dados são estáticos ou fixos. Nesse exemplo, o conteúdo do livro não vai mudar.

Os objetos são armazenados como “pacotes” em uma estrutura plana e facilmente localizados e recuperados com uma única chamada de API. Além disso, à medida que o número de livros continua crescendo, você pode agregar dispositivos de armazenamento em pools maiores e distribuir esses pools para escala ilimitada.

Você pode usar chamadas de API simples para carregar e recuperar arquivos em um sistema de armazenamento em objetos, mas uma aplicação também precisa dos metadados do objeto para localizar o objeto correto no armazenamento. É aqui que entra um banco de dados de armazenamento em objetos. Esse banco de dados fornece uma espécie de diretório que usa os metadados do objeto para localizar os arquivos de dados apropriados em um sistema de armazenamento distribuído.

Cada grupo de armazenamento em objetos possui um banco de dados de armazenamento em objetos que contém duas tabelas:

• Tabela de diretório de objetos

• Tabela de armazenamento de objetos

A tabela de diretório de objetos contém informações descritivas sobre cada objeto (os metadados). Esse diretório rastreia todos os objetos na hierarquia de armazenamento registrando o identificador do nome da coleção, o nome do objeto e outras informações pertinentes. Por exemplo, em metodologias comuns de armazenamento em objetos, a tabela de diretório inclui três principais índices:

• O carimbo de tempo de criação do objeto

• O identificador do nome da coleção (ID do nome) e o carimbo de tempo de criação do objeto

• O nome do objeto e o identificador do nome da coleção

A tabela de armazenamento de objetos contém o conteúdo de dados ou o próprio arquivo (os objetos). Os dados (conteúdo digital fixo, como arquivos de vídeo e imagem ou grandes bibliotecas de documentos) ficam no armazenamento de objetos. Enquanto isso, os metadados (informações contextuais sobre os dados, incluindo o ID do nome) residem em um banco de dados ou na tabela de diretório de objetos.

Quando uma aplicação “publica” um arquivo, ela cria os metadados e os armazena na tabela de diretório de objetos dentro do banco de dados de armazenamento em objetos, junto com a “gravação” do arquivo na tabela de armazenamento de objetos. Para recuperar o arquivo depois, a aplicação consulta o diretório de objetos ou banco de dados em busca dos metadados e usa essas informações descritivas para localizar ou “obter” os dados.

As tecnologias de código aberto oferecem flexibilidade e controle sobre opções de gerenciamento e armazenamento de dados, seja como alternativas, seja integradas a soluções proprietárias de provedores de serviços em nuvem e outros fornecedores.

Com ferramentas de código aberto e acesso a APIs abertas, você pode personalizar o código para atender aos requisitos específicos da sua organização, mantendo a compatibilidade com sistemas proprietários existentes. Essa abordagem oferece a liberdade de usar o hardware já disponível ou misturar equipamentos de diferentes fornecedores, aproveitando as contribuições da comunidade mais ampla de desenvolvedores.

Todas as principais soluções de armazenamento em objetos de código aberto seguem o protocolo Amazon Simple Storage Service (Amazon S3). Foi lançado pela primeira vez em 2006 e, desde então, se tornou o padrão de fato para APIs de armazenamento em nuvem.

Soluções populares de código aberto incluem Ceph, MinIO e OpenStack Swift. Embora essas soluções ofereçam diferentes recursos, opções de políticas e metodologias, todas têm o mesmo objetivo — possibilitar o armazenamento em grande escala de dados digitais não estruturados com APIs RESTful compatíveis com S3.

Muitas também oferecem suas próprias APIs como alternativas ao S3. O OpenStack Swift, por exemplo, não só oferece suporte à API S3 da Amazon, mas também disponibiliza sua própria API Swift com recursos exclusivos. O Ceph Object Storage é compatível com S3, mas também oferece suporte a um grande subconjunto da API OpenStack Swift, fornecendo flexibilidade na forma como as aplicações interagem com o sistema de armazenamento.

• Escalabilidade: a escala ilimitada é talvez a maior vantagem do armazenamento de dados baseado em objetos. Objetos, ou unidades discretas de dados (em qualquer quantidade), são armazenados em um ambiente estruturalmente plano dentro de um dispositivo de armazenamento, como um servidor. Você pode simplesmente adicionar mais dispositivos ou servidores em paralelo a um cluster de armazenamento em objetos para obter mais capacidade de processamento e suportar as maiores taxas de transferência exigidas por arquivos grandes, como vídeos ou imagens.

• Redução da complexidade: o armazenamento em objetos elimina a complexidade de um sistema de arquivos hierárquico com pastas e diretórios. Há menos potencial para atrasos de desempenho e mais eficiência na recuperação de dados, já que não há pastas, diretórios ou hierarquias complexas a navegar. Esse recurso melhora o desempenho, especialmente ao gerenciar grandes quantidades de dados.

• Alta disponibilidade e durabilidade: os sistemas de armazenamento em objetos podem ser configurados para replicar dados em vários nós ou clusters. Se um disco ou nó falhar, o sistema pode continuar operando sem perda de dados devido a essa redundância. A replicação de dados pode ocorrer dentro do mesmo data center ou em locais distribuídos geograficamente, garantindo tanto alta disponibilidade quanto recuperação de desastres fora do local.

• Capacidade de pesquisa: cada objeto é um repositório autônomo que inclui metadados ou informações descritivas associadas a ele. Esses metadados aumentam a capacidade de pesquisa, tornando mais fácil localizar e recuperar objetos com base em atributos específicos ou tags personalizadas. Além de apoiar estratégias de gerenciamento do ciclo de vida dos dados e proteção de dados, os metadados podem ser personalizados para adicionar contexto — permitindo pesquisas avançadas, filtragem e análises para gerar insights de negócios sobre tendências de mercado e muito mais.

• Eficiência de custos: Os provedores de serviços de armazenamento em objetos geralmente oferecem preços sob demanda (pay-as-you-go), que eliminam o investimento de capital inicial. Os custos são baseados no uso real — volume de armazenamento, recuperação de dados, largura de banda e chamadas de API. A precificação é em camadas ou baseada em volume, com diferentes classes e níveis de armazenamento, projetados para reduzir custos de dados acessados com pouca frequência ou em grandes volumes. A precificação é em camadas ou baseada em volume, com diferentes classes e níveis de armazenamento, projetados para reduzir custos de dados acessados com pouca frequência ou em grandes volumes. Essa flexibilidade permite que as organizações reaproveitem servidores existentes e escalem de forma acessível.

• Segurança: o armazenamento em objetos fornece recursos de segurança abrangentes (por exemplo, criptografia em repouso e em trânsito) e controles de acesso robustos por meio de políticas de IAM. Muitas soluções também oferecem autenticação multifator, recursos de data loss prevention (DLP) e integração com ferramentas corporativas de segurança para monitoramento centralizado e detecção de ameaças.

• Compatibilidade com a nuvem: o armazenamento em objetos está intimamente ligado a ambientes em nuvem ou hospedados que oferecem armazenamento multilocatário como serviço. Isso permite que várias empresas ou departamentos dentro de uma empresa compartilhem o mesmo repositório de armazenamento, cada um com acesso a uma parte separada do espaço. Essa abordagem de armazenamento compartilhado otimiza automaticamente escala e custos. Você pode reduzir a infraestrutura de TI local da sua organização usando armazenamento em nuvem de baixo custo, mantendo seus dados acessíveis quando necessário. Sua empresa, por exemplo, pode usar uma solução de armazenamento em objetos baseada em nuvem para coletar e armazenar grandes volumes de dados não estruturados de Internet das coisas (IoT) e dados móveis para seus aplicativos de dispositivos inteligentes.