Núcleo da maioria dos sistemas de OLAP, o cubo do OLAP é um banco de dados multidimensional baseado em matrizes que possibilita processar e analisar múltiplas dimensões de dados de forma muito mais rápida e eficiente do que um banco de dados relacional tradicional.
Uma tabela de banco de dados relacional é estruturada como uma planilha, armazenando registros individuais em um formato bidimensional, linha por coluna. Cada "fato" de dados no banco de dados se situa na interseção de duas dimensões — uma linha e uma coluna — como região e vendas totais.
Ferramentas de relatório de banco de dados relacional e SQL certamente podem consultar, reportar e analisar dados multidimensionais armazenados em tabelas, mas o desempenho diminui conforme o volume de dados aumenta. E requer muito trabalho para reorganizar os resultados para focar em diferentes dimensões.
É aqui que o cubo OLAP entra. O cubo OLAP estende a única tabela com camadas adicionais, cada uma adicionando dimensões adicionais — geralmente o próximo nível na "hierarquia de conceitos" da dimensão. Por exemplo, a camada superior do cubo pode organizar vendas por região; camadas adicionais podem ser país, estado/província, cidade e até loja específica.
Em teoria, um cubo pode conter um número infinito de camadas. (Um cubo do OLAP representando mais de três dimensões às vezes é chamado de hipercubo.) E cubos menores podem existir dentro de camadas — por exemplo, cada camada de armazenamento pode conter cubos que organizam as vendas por vendedor e produto. Na prática, analistas de dados criarão cubos do OLAP contendo apenas as camadas de que precisam, para análise e desempenho ideais.