Dirancang pada tahun 1937, Harvard Mark I, atau IBM Automatic Sequence Controlled Calculator (tautan berada di luar ibm.com), memegang keunikan sebagai komputer mainframe pertama. Biro Kapal Angkatan Laut AS menggunakan mesin ini selama bagian terakhir dari Perang Dunia II untuk tujuan militer guna memecahkan masalah matematika dengan cepat.
Pada tahun 1951, Eckert-Mauchly Computer Corporation (EMCC) mulai membangun mainframe komersial pertama, UNIVAC (tautan berada di luar ibm.com). Segera setelah itu, pada tahun 1953, IBM memperkenalkan mainframe pertamanya yang dirancang untuk penggunaan bisnis komersial— IBM Model 701 Electronic Data Processing Machine. Komputer elektronik pertama perusahaan, 701 sekitar 25 kali hingga 50 kali lebih cepat daripada pendahulunya, dengan kemajuan pesat dalam daya komputasi, kapasitas memori, dan ukuran yang lebih kecil.
Produsen komputer komersial berskala besar lainnya di AS selama tahun 1950-an termasuk Burroughs, Datamatic, GE, RCA, dan Philco.
Mainframe modern pertama, IBM System/360, memasuki pasar pada tahun 1964. Dalam dua tahun, System/360 mendominasi pasar komputer mainframe sebagai standar industri. Sebelum mesin ini, perangkat lunak harus ditulis khusus untuk setiap mesin baru dan tidak ada perusahaan perangkat lunak komersial. System/360 memisahkan perangkat lunak dari perangkat keras dan untuk pertama kalinya, perangkat lunak yang ditulis untuk satu mesin dapat berjalan di mesin lain di lini tersebut.
Sementara banyak yang mengaitkan virtualisasi dengan komputasi cloud, teknologi virtualisasi komersial dimulai pada mainframe sebagai cara untuk membagi sumber daya sistem secara logis agar dapat digunakan bersama oleh sekelompok besar pengguna. Sebelum virtualisasi, profesional TI mainframe menggunakan keypunches, batch job, dan satu OS untuk menjalankan operasi TI. Pada tahun 1964, IBM meluncurkan CP/CMS. Sistem operasi pengguna tunggal yang ringan ini berisi hypervisor pertama yang menciptakan virtual machines (VM), yang memvirtualisasikan perangkat keras yang mendasarinya—meningkatkan efisiensi dan mengurangi biaya.
Diperkenalkan pada tahun 1970, IBM System/370 menandai keberangkatan pertama IBM dari teknologi inti ferit besi magnetik ke chip memori silikon untuk menyimpan data dan instruksi karena mereka menghasilkan kecepatan operasi yang lebih cepat dan membutuhkan ruang yang jauh lebih sedikit. Enam bulan setelah System/370 diluncurkan, frasa "Silicon Valley" pertama kali muncul di media cetak dalam sebuah edisi Electronic News.
Produsen penting lainnya di pasar mainframe selama tahun 70-an dan 80-an termasuk Fujitsu, Hewlett-Packard, Hitachi, Honeywell, RCA, Siemens, dan Sperry Univac. Selama masa ini, industri mainframe terus berkembang dengan mesin yang lebih kecil, peningkatan kinerja I/O, memori yang lebih signifikan, dan beberapa prosesor, yang memungkinkan fungsionalitas dan kapasitasnya untuk tumbuh.
Pada tahun 1990-an, seiring dengan percepatan penggunaan komputer pribadi dan teknologi lainnya, beberapa analis meramalkan akhir dari mainframe. Pada tahun 1991, analis InfoWorld, Stewart Alsop, terkenal mengucapkan, "Saya memprediksi bahwa mainframe terakhir akan dicabut pada tanggal 15 Maret 1996".
Namun penggunaan mainframe bertahan sebagai infrastruktur TI inti di seluruh industri. Pada bulan April 2022, IBM meluncurkan generasi terbaru IBM zSeries—z16, yang dilengkapi prosesor IBM Telum dengan akselerator terintegrasi pada chip pertama di industri untuk memprediksi dan mengotomatisasi dengan AI pada kecepatan dan skala yang belum pernah terjadi sebelumnya (dan dengan latensi yang sangat rendah).