Um data lakehouse é uma plataforma de dados moderna que combina o armazenamento de dados flexível e de baixo custo de um data lake com os recursos de análise de dados e gerenciamento de dados de alto desempenho de um data warehouse.
Historicamente, as organizações frequentemente utilizavam data lakes e data warehouses em conjunto. Os data lakes atuavam como um sistema abrangente para dados estruturados, semiestruturados e não estruturados brutos, que eram então migrados usando pipelines ETL/ELT para um data warehouse para casos de uso posteriores, como business intelligence (BI) e análise preditiva de dados.
No entanto, coordenar esses sistemas para fornecer dados confiáveis pode ser custoso tanto em tempo quanto em recursos, especialmente para análise de dados e cargas de trabalho de IA. A movimentação de dados pode contribuir para a obsolescência e redundância dos dados, enquanto camadas adicionais de ETL/ELT podem introduzir riscos à qualidade e consistência dos dados.
Os data lakehouses reduzem esses desafios ao trazer recursos de gerenciamento e análise de dados no estilo de warehouse diretamente para os dados armazenados em data lakes. Essa configuração ajuda as equipes de dados a unificar o gerenciamento de dados, acelerar o processamento de dados, melhorar a qualidade dos dados e dar suporte a cargas de trabalho escaláveis de inteligência artificial (IA) e aprendizado de máquina (ML).
Assim como um data lake, um data lakehouse utiliza armazenamento de objetos em nuvem de baixo custo.Essa abordagem permite que eles armazenem dados em quase qualquer formato (estruturado, semiestruturado e não estruturado).
O que o torna um lakehouse é a camada de gerenciamento de dados em estilo de warehouse criada sobre esse armazenamento, que adiciona estrutura de dados e governança para dar suporte a cargas de trabalho de análise de dados e BI.
A maioria dos data lakehouses depende de formatos de tabela aberta (OTFs), normalmente:
Essas tecnologias atuam como camadas de metadados que organizam arquivos de dados abertos (como aqueles armazenados no Apache Parquet) em tabelas lógicas semelhantes a bancos de dados.
Essa abordagem permite que as organizações trabalhem com dados brutos do lake como se fossem dados estruturados de warehouse, viabilizando recursos-chave como viagem no tempo, controle de versão, evolução de esquemas, manipulação de dados e consistência transacional (ACID).
("ACID" significa atomicidade, consistência, isolamento e durabilidade. Essas propriedades ajudam a garantir a integridade e a confiabilidade das transações de dados.)
Com essas camadas e funcionalidades adicionais, os lakehouses tornam os data lakes mais confiáveis e intuitivos de usar. Eles também permitem que os usuários executem consultas SQL, cargas de trabalho de análise de dados e outros caso de uso avançados diretamente em um data lake, simplificando o BI, IA, ML e inteligência de dados (DI).
Mantenha-se atualizado sobre as tendências mais importantes (e intrigantes) do setor em IA, automação, dados e muito mais com o boletim informativo Think. Consulte a Declaração de privacidade da IBM.
A arquitetura de um data lakehouse normalmente consiste em cinco camadas:
Esta primeira camada coleta dados de uma variedade de fontes internas e externas e os prepara para armazenamento e análise. A camada de ingestão pode usar conectores para integrar-se a fontes como sistemas de gerenciamento de banco de dados, bancos de dados NoSQL, aplicações SaaS e feeds de mídias sociais.A ingestão pode ser em lote ou em tempo real.
A camada de armazenamento contém conjuntos de dados estruturados, não estruturados e semiestruturados no armazenamento de objetos na nuvem de baixo custo. Serviços comuns incluem o Amazon Simple Storage Service (Amazon S3), Microsoft Azure Blob Storage, Google Cloud Storage e IBM Cloud Object Storage.
Os dados são tipicamente armazenados em formatos de armazenamento em colunas otimizados para grandes cargas de trabalho analíticas, como Apache Parquet ou Optimized Row Columnar (ORC). Essa camada oferece um dos principais benefícios do data lakehouse: a capacidade de acomodar de forma econômica praticamente todos os tipos de dados.
A camada de metadados é um catálogo unificado que organiza e fornece informações sobre os dados no lake. Normalmente, utiliza formatos de tabela aberta, como Apache Iceberg, Apache Hudi ou Delta Lake.
As funcionalidades desta camada permitem transações ACID, viagens no tempo e aplicação de esquemas, o que ajuda a melhorar a governança de dados . Controles de acesso robustos nessa camada são essenciais para organizações que lidam com dados sensíveis e valiosos para rastrear o acesso e as modificações de dados, mantendo assim trilhas de auditoria.
As interfaces de programação de aplicativos (APIs) fornecem acesso padronizado aos dados e metadados do lakehouse. Especificamente, essa camada oferece aos consumidores de dados e desenvolvedores a oportunidade de usar uma variedade de mecanismos de análise e frameworks de aprendizado de máquina (como o TensorFlow) para executar análises avançadas e treinamento de modelos diretamente nos dados do lakehouse.
A camada final da arquitetura de data lakehouse hospeda aplicações e ferramentas que têm acesso a todos os dados armazenados no lake. Isso abre o acesso a dados para usuários em toda a organização, que podem usar o lakehouse para realizar tarefas como a criação de dashboards de business intelligence, visualização de dados e trabalhos de aprendizado de máquina.
A arquitetura de dados Medallion (MDA) é uma abordagem de design de dados multicamadas e focada na qualidade que garante que os dados do lakehouse sejam progressivamente limpos, validados e confiáveis à medida que migram da ingestão para o consumo. Ela pode ajudar as organizações a desenvolver um data lakehouse escalável e governado adequado para relatórios de negócios diários, bem como análises de dados avançadas e cargas de trabalho de aprendizado de máquina.
Essa escalabilidade é crítica para a manutenção da qualidade à medida que os volumes de dados crescem. De acordo com um estudo de benchmark de janeiro de 2025, 87,4% das organizações descobriram que os frameworks de qualidade de dados legados tornaram-se operacionalmente insustentáveis além de sete petabytes.2
O framework organiza os dados em três camadas distintas ao longo de seu ciclo de vida: bronze, prata e ouro, melhorando a qualidade dos dados a cada etapa.
A camada de ouro também fortalece a prontidão para IA. Ela fornece um fluxo de dados prontos para IA de alta qualidade diretamente para pipelines de ML, o que pode ajudar a melhorar a precisão do modelo e reduzir os esforços de preparação de dados.
Essa progressão de dados estruturada garante que qualquer arquivo de dados final possa ser rastreado por meio de sua transformação até seu estado original. Além disso, proporciona custos mais previsíveis e, muitas vezes, mais baixos, uma vez que o armazenamento de dados e os recursos computacionais podem ser otimizados de acordo com a finalidade de cada camada.
Os data lakehouses oferecem várias características principais:
Formatos de armazenamento abertos e em colunas (ou formatos de dados abertos), como Apache Parquet ou ORC, melhoram o desempenho das consultas e reduzem os custos de armazenamento por meio de compactação eficiente, eliminação de colunas e empilhamento de predicados. Esses formatos são compatíveis com mecanismos de análises de dados populares que permitem que as organizações acessem os mesmos dados, ao mesmo tempo. Essa funcionalidade os ajuda a evitar o lock-in com fornecedor e alcançar a interoperabilidade entre suas diferentes ferramentas.
A maioria dos data lakehouses utiliza formatos de tabelas abertas, como Apache Iceberg, Apache Hudi e Delta Lake, para fornecer transações ACID. Essas transações, como inserções, atualizações e exclusões, garantem que os dados permaneçam consistentes e confiáveis durante e após as operações de dados.
Um único sistema de armazenamento de dados cria uma plataforma centralizada que pode atender a todas as demandas de dados corporativos, reduzindo os silos de dados e duplicação entre sistemas e equipes. Essa unificação também simplifica a observabilidade de dados de ponta a ponta, à medida que a movimentação dos dados por meio de vários pipelines de dados e sistemas é significativamente reduzida.
Os data lakehouses aproveitam o armazenamento de objetos em nuvem de baixo custo, tornando-os mais econômicos para grandes volumes de dados e cargas de trabalho do que os data warehouse tradicionais. A arquitetura híbrida de um data lakehouse também elimina a necessidade de manter vários sistemas de armazenamento de dados, muitas vezes reduzindo as despesas operacionais.
Os data lakehouses atendem a diferentes casos de uso ao longo do ciclo de vida do gerenciamento de dados. Eles podem dar suporte a fluxos de trabalho de business intelligence e visualização baseada em dados ou a projetos de ciência de dados mais complexos (como treinamento de modelos de aprendizado de máquina ou análise de dados em tempo real), tudo com os mesmos dados.
A arquitetura de data lakehouse atenua os problemas de governança dos data lakes com catálogos de metadados centralizados, aplicação de esquemas e ferramentas integradas de gerenciamento da qualidade dos dados. A segurança dos dados pode ser fortalecida usando controles de acesso, monitoramento e auditorias, anonimização de dados, blockchain e até mesmo computação quântica.3,4
Os data lakehouses separam o armazenamento e o processamento, permitindo que as equipes de dados os expandam separadamente. Essa separação também proporciona a flexibilidade de acessar os mesmos dados usando diferentes mecanismos de computação ou nós para diferentes aplicações.
Data lakehouses modernos são construídos para os negócios e tecnologia atuais. Muitas fontes de dados contêm dados de streaming em tempo real provenientes de fontes como dispositivos da Internet das Coisas. O sistema lakehouse oferece suporte a essas fontes por meio da ingestão de dados em tempo real e processamento incremental.
Um data lakehouse não é simplesmente um data warehouse combinado com um data lake. Trata-se de uma arquitetura unificada que reúne o melhor de ambas em uma única plataforma.
Os data warehouses são construídos para análises estruturadas. Eles oferecem um excelente desempenho para aplicações e relatórios de business intelligence ao armazenar e transformar dados corporativos.
No entanto, os data warehouses não têm a flexibilidade dos data lakes. Eles são limitados por sua ineficiência e custos à medida que os volumes de dados e a carga de trabalho aumentam. O armazenamento de dados também exige esquemas rigorosos, o que significa que os dados devem estar em conformidade com um modelo predefinido antes de serem inseridos no repositório de dados (esquema na gravação). Devido a essas limitações, eles não funcionam bem com dados não estruturados ou semiestruturados, que são essenciais para os casos de uso de IA e ML.
Os data lakes permitem que as organizações armazenem todos os tipos de dados (estruturados, não estruturados e semiestruturados) de fontes diversas em um único local. Eles usam uma abordagem de esquema na leitura, de modo que os modelos de dados são aplicados quando os dados são usados, em vez de quando são armazenados. Eles também costumam ter um armazenamento de dados mais escalável e acessível (geralmente armazenamento de objetos na nuvem).
No entanto, eles não possuem ferramentas de processamento de dados integradas e dependem de recursos externos para realizar análises. Seu tamanho e complexidade também podem exigir a expertise de usuários mais técnicos, como cientistas de dados e engenheiros de dados. E, como a governança de dados ocorre mais adiante, os data lakes podem estar sujeitos à criação de silos de dados, transformando-se posteriormente em data swamps (em que dados úteis ficam inacessíveis por falta de gerenciamento adequado).
Os data lakehouses são projetados para resolver os desafios dos data warehouses e data lakes, reunindo seus benefícios em uma única plataforma. Eles desfrutam de um armazenamento flexível e de baixo custo que suporta uma ampla gama de tipos de dados, ao mesmo tempo que fornece gerenciamento de dados e recursos de alto desempenho para dar suporte a BI, análise de dados e cargas de trabalho de IA/ML em uma única arquitetura.
Anson Kokkat, gerente principal de produtos da IBM Software, enfatiza a importância dos lakehouses para programas modernos de IA:
"Os modelos de IA são tão bons quanto a plataforma de dados governada e escalável que os sustenta. O data lakehouse certo torna-se a base que transforma dados corporativos brutos em IA pronta para produção. Quando construído sobre uma arquitetura aberta, isso se traduz em flexibilidade de IA, você não fica preso a um mecanismo, pode se integrar às ferramentas de código aberto existentes, como Presto, Apache Spark, OpenSearch e Cassandra."
Outro grande benefício: as organizações frequentemente podem implementar data lakehouses junto com seus data lakes e data warehouses existentes, sem precisar reconstruir toda a arquitetura.
Atualmente, muitos provedores oferecem data lakehouses abertos. Essa arquitetura é compatível com dados abertos e formatos abertos para armazenar grandes quantidades de dados em formatos independentes de fornecedor, como Parquet, Avro e Apache ORC. Ela também pode aproveitar o Apache Iceberg para compartilhar grandes volumes de dados por meio de um formato de tabela aberta.
Os desafios mais comuns de data lakehouse são implementações complexas (incluindo migrações de plataformas de dados existentes); equilibrar a governança de dados e a segurança com acesso unificado aos dados; e assegurar que o desempenho das consultas permaneça ideal à medida que os volumes de dados crescem.
Sim. Os data lakehouses suportam cargas de trabalho de IA e ML ao fornecer acesso unificado a grandes volumes de dados diversos com forte governança. Eles usam formatos de dados abertos e de tabela aberta para evitar o lock-in com fornecedor e permitir a integração direta entre a camada de armazenamento e os frameworks de ML.
Pode, mas se deve ou não, depende das suas prioridades de dados. Os lakehouses são uma excelente opção para armazenar big data diversificado e dar suporte às cargas de trabalho de IA/ML, enquanto os warehouses permanecem úteis para necessidades de dados mais estruturados ou de alto desempenho e baixa latência. Muitas organizações utilizam ambas as plataformas.
Evitar um data swamp requer práticas sólidas de governança de dados, qualidade de dados e segurança de dados. Além disso, uma arquitetura de armazenamento em camadas (Medallion) mantém os dados organizados, e os formatos de tabela aberta com transações ACID ajudam a garantir a integridade, consistência e confiabilidade dos dados.
Crie e gerencie pipelines de dados de streaming inteligentes por meio de uma interface gráfica intuitiva, facilitando a integração sem dificuldades dos dados em ambientes híbridos e de multinuvem.
O watsonx.data permite escalar a análise de dados e a IA com todos os seus dados, onde quer que estejam, por meio de um armazenamento de dados aberto, híbrido e governado.
Libere o valor dos dados empresariais com a IBM Consulting, construindo uma organização baseada em insights, que traz vantagem para os negócios.
1 Data Lakehouse Architecture: The Evolution of Enterprise Data Management, Journal of Computer Science and Technology Studies, 23 de junho de 2025.
2 Data Lakehouse Implementation: A Journey From Traditional Data Warehouses, World Journal of Advanced Engineering Technology and Sciences, 26 de fevereiro de 2025.
3 Data Lakehouse: A Survey and Experimental Study, Science Direct, 26 de setembro de 2024.
4 Minimizing Incident Response Time in Real-World Scenarios Using Quantum Computing, Springer Nature Link, 26 de maio de 2023.
