Projetado em 1937, o Harvard Mark I, ou IBM Automatic Sequence Controlled Calculator (link externo a ibm.com), detém a distinção de ser o primeiro computador mainframe. O US Navy Bureau of Ships usou essa máquina durante a última parte da Segunda Guerra Mundial para fins militares para resolver rapidamente problemas de matemática.
Em 1951, a Eckert-Mauchly Computer Corporation (EMCC) começou a construir o primeiro mainframe comercial, o UNIVAC (link externo a ibm.com). Logo depois, em 1953, a IBM lançou seu primeiro mainframe projetado para uso comercial — o IBM Model 701 Electronic Data Processing Machine. O primeiro computador eletrônico da empresa, o 701, era cerca de 25 a 50 vezes mais rápido do que seus antecessores, com rápidos avanços em termos de poder de computação, capacidade de memória e tamanho menor.
Outros fabricantes americanos de computadores comerciais de grande escala durante a década de 1950 incluíam Burroughs, Datamatic, GE, RCA e Philco.
O primeiro mainframe moderno, o IBM System/360, chegou ao mercado em 1964. Em dois anos, o System/360 dominou o mercado de computadores mainframe como o padrão do setor. Antes dessa máquina, o software tinha que ser escrito sob medida para cada nova máquina e não havia empresas de software comercial. O System/360 separava o software do hardware e, pela primeira vez, o software escrito para uma máquina podia ser executado em qualquer outra máquina da linha.
Enquanto muitos associam a virtualização à computação em nuvem, a tecnologia de virtualização comercial começou no mainframe como uma forma de dividir logicamente os recursos do sistema a serem compartilhados entre um grande grupo de usuários. Antes da virtualização, os profissionais de TI de mainframe usavam perfuradores de cartões, tarefas em lote e um único sistema operacional para realizar operações de TI. Em 1964, a IBM lançou o CP/CMS. Esse sistema operacional leve de usuário único continha o primeiro hipervisor que criava Virtual Machines (VMs), que virtualizavam o hardware subjacente, aumentando a eficiência e reduzindo os custos.
Lançado em 1970, o IBM System/370 marcou a primeira saída da IBM da tecnologia de núcleo magnético de ferrite de ferro para chips de memória de silício para armazenar dados e instruções, pois eles produziam velocidades operacionais mais rápidas e exigiam muito menos espaço. Seis meses após o lançamento do System/370, a frase “Vale do Silício” apareceu pela primeira vez impressa em uma edição da Electronic News.
Outros fabricantes importantes no mercado de mainframes durante as décadas de 1970 e 1980 incluem Fujitsu, Hewlett-Packard, Hitachi, Honeywell, RCA, Siemens e Sperry Univac. Durante esse período, o setor de mainframes continuou a avançar com máquinas menores, melhorias no desempenho de E/S, memória mais significativa e vários processadores, permitindo que sua funcionalidade e capacidade aumentassem.
Na década de 1990, à medida que o uso do computador pessoal e outras tecnologias se acelerava, alguns analistas previam o fim do mainframe. Em 1991, o analista da InfoWorld, Stewart Alsop, disse: "Prevejo que o último mainframe será desconectado em 15 de março de 1996".
No entanto, o uso de mainframes sobrevive como uma infraestrutura fundamental de TI em todos os setores. Em abril de 2022, a IBM apresentou a última geração do IBM zSeries, o z16,, com o processador IBM Telum com aceleradores integrados no chip, os primeiros do setor, para prever e automatizar com IA em velocidade e escala sem precedentes (e com latência extremamente baixa).