Apa itu pusat data AI?

Pusat data AI adalah fasilitas yang menampung infrastruktur TI spesifik yang diperlukan untuk melatih, menerapkan, dan menyediakan aplikasi dan layanan AI. Pusat data ini memiliki arsitektur komputasi, jaringan, dan penyimpanan canggih, serta kemampuan energi dan pendinginan untuk menangani beban kerja AI.
 

Meskipun pusat data tradisional terdiri dari banyak komponen yang sama dengan pusat data AI, daya komputasinya serta kemampuan infrastruktur TI lainnya sangat bervariasi. Organisasi yang ingin menggunakan teknologi AI akan mendapatkan manfaat dari akses ke infrastruktur AI yang diperlukan.

Ada banyak cara untuk mendapatkan akses ini, dan sebagian besar bisnis tidak perlu membangun pusat data AI mereka sendiri dari awal, karena ini membutuhkan upaya besar. Opsi seperti hybrid cloud dan kolokasi berhasil mengurangi hambatan sehingga organisasi dari berbagai ukuran dapat merasakan manfaat AI.

Pusat data AI memiliki banyak kesamaan dengan pusat data tradisional. Masing-masing terdiri dari perangkat keras seperti server, sistem penyimpanan, dan peralatan jaringan. Operator keduanya perlu mempertimbangkan hal-hal seperti keamanan, keandalan, ketersediaan, dan efisiensi energi.

Perbedaan antara kedua jenis pusat data ini terletak pada tuntutan luar biasa dari beban kerja AI berintensitas tinggi. Berbeda dengan pusat data AI, pusat data umum berisi infrastruktur yang akan cepat kewalahan oleh beban kerja AI. Infrastruktur berteknologi AI dirancang khusus untuk tugas cloud, AI, dan machine learning.

Misalnya, pusat data konvensional lebih cenderung dirancang untuk dan berisi unit pemrosesan pusat (central processing unit, CPU). Sementara itu, pusat data berteknologi AI memerlukan unit pemrosesan grafis (graphics processing unit, GPU) berkinerja tinggi dan pertimbangan infrastruktur TI, seperti penyimpanan, jaringan, energi, dan kemampuan. Sering kali, jumlah GPU yang diperlukan untuk contoh penggunaan AI juga membutuhkan ruang yang lebih luas. 

“Hyperscale” dan “colocation” (kolokasi) merupakan dua jenis pusat data yang umum digunakan oleh organisasi untuk AI.

Pusat data hyperscale berukuran sangat besar, terdiri dari setidaknya 5.000 server, dan menempati setidaknya 10.000 kaki persegi ruang fisik. Pusat data ini menyediakan kemampuan skalabilitas ekstrem dan direkayasa untuk beban kerja skala besar (seperti AI generatif). Pusat data hyperscale digunakan secara luas di seluruh dunia oleh penyedia cloud seperti Amazon Web Services (AWS), Microsoft Azure, dan Google Cloud Platform (GCP) untuk berbagai tujuan yang mencakup kecerdasan buatan, otomatisasi, analisis data, penyimpanan data, pemrosesan data, dan banyak lagi.

Pusat data kolokasi mengacu pada situasi di mana satu perusahaan memiliki pusat data hyperscale dan menyewakan fasilitas, server, dan bandwidth ke perusahaan lain.

Praktik semacam ini memungkinkan bisnis untuk menikmati manfaat hyperscale tanpa investasi besar. Amazon (AWS), Google, dan Microsoft adalah beberapa pengguna layanan kolokasi terbesar di dunia. Sebagai contoh, penyedia layanan cloud ini menyewa ruang pusat data berukuran luas dari operator pusat data, Equinix. Kemudian, mereka menyediakan ruang yang telah mereka sewa tersebut kepada pelanggan. Dengan kata lain, mereka menyewakan ruang tersebut ke bisnis lain.

Dalam postingan blog pada awal 2025, Microsoft menyebut AI sebagai “listrik di era kita”. Apakah pernyataan tersebut berlebihan atau tidak, masih belum diketahui. Namun, adopsi alat AI seperti ChatGPT dari OpenAI oleh jutaan pengguna nonpakar telah berlangsung dengan sangat cepat. Potensi produktivitas dan monetisasi yang jelas dari kemampuan AI ini menyebabkan banyak bermunculan alat produktivitas, agen, dan generator konten AI baru.

Model sumber terbuka dan demokratisasi AI berkelanjutan menyebabkan ekosistem AI tidak hanya dimonopoli oleh para pemain utama. Hampir semua entitas dapat menjadi perusahaan teknologi, selama mereka dapat mengidentifikasi contoh penggunaan AI dan mengadopsi infrastruktur TI untuk menanganinya. Menurut laporan tahun 2024 oleh IBM Institute for Business Value (IBM IBV), 43% eksekutif C-level di bidang teknologi mengungkap bahwa kekhawatiran mereka tentang infrastruktur teknologi meningkat dalam enam bulan terakhir dikarenakan AI generatif. Sekarang, mereka berfokus mengoptimalkan infrastruktur untuk meningkatkan skalanya.

Sementara itu, industri pusat data berkembang untuk memenuhi permintaan. Infrastruktur pusat data di seluruh dunia makin siap untuk AI, dengan kemampuan memproses komputasi dan permintaan yang rumit dalam jumlah besar. Saat ini, kawasan Asia Pasifik dan Amerika Utara memiliki jumlah pusat data terbanyak, terutama di wilayah-wilayah seperti Beijing, Shanghai, Virginia bagian utara, dan kawasan Teluk San Francisco.¹

Investasi besar dari perusahaan teknologi besar juga menandakan pertumbuhan dalam sektor pusat data AI. Pada tahun 2025, Microsoft berencana menginvestasikan sekitar 80 miliar USD untuk pembangunan pusat data, sementara Meta menginvestasikan 10 miliar USD dalam pengembangan pusat data hyperscale baru seluas empat juta kaki persegi di negara bagian Louisiana, AS.

Ada beberapa fitur dan fungsi khas yang menjadi kunci bagi pusat data berteknologi AI:

• Komputasi berkinerja tinggi
• Arsitektur penyimpanan canggih
• Jaringan yang tangguh dan aman
• Solusi daya dan pendinginan yang memadai

Pusat data berteknologi AI membutuhkan kemampuan komputasi berkinerja tinggi (high-computing capabilities, HPC) seperti yang ditemukan dalam akselerator AI. Akselerator AI adalah cip AI yang digunakan untuk mempercepat model ML dan deep learning (DL), pemrosesan bahasa alami, dan operasi kecerdasan buatan lainnya. Solusi ini umumnya dianggap sebagai perangkat keras yang memberdayakan AI dan banyak aplikasinya.

GPU, misalnya, adalah salah satu jenis akselerator AI. Dipopulerkan oleh Nvidia, GPU merupakan sirkuit elektronik yang memecah masalah rumit menjadi potongan-potongan kecil yang dapat diselesaikan secara bersamaan. Metodologi ini dikenal sebagai pemrosesan paralel. HPC menggunakan jenis pemrosesan paralel yang dikenal sebagai pemrosesan paralel masif, yang menggunakan puluhan ribu hingga jutaan prosesor atau inti prosesor. Kemampuan ini menjadikan GPU sangat cepat dan efisien. Model AI melatih dan berjalan pada GPU pusat data, yang memberi daya pada banyak aplikasi AI terkemuka.

Saat ini, makin banyak pusat data berteknologi AI yang juga mencakup akselerator AI yang lebih khusus, misalnya unit pemrosesan neural (neural processing unit, NPU) dan unit pemrosesan tensor (tensor processing unit, TPU). NPU meniru jalur saraf otak manusia untuk meningkatkan pemrosesan beban kerja AI secara real time. TPU adalah akselerator yang dibuat khusus untuk mempercepat komputasi tensor dalam beban kerja AI. Throughput tinggi dan latensi rendah membuatnya ideal untuk banyak aplikasi AI dan deep learning.

Kecepatan dan kebutuhan komputasi yang tinggi dari beban kerja AI memerlukan penyimpanan data yang luas dengan memori berkecepatan tinggi. Solid-state drive (SSD), yaitu perangkat penyimpanan berbasis semikonduktor, yang biasanya menggunakan memori flash NAND, dipandang sebagai perangkat penyimpanan penting bagi pusat data AI. Secara khusus, yang digunakan adalah SSD NVMe yang memiliki kecepatan, kemampuan pemrograman, dan kapasitas memadai untuk menangani pemrosesan paralel.

GPU pusat data, akselerator, dan beberapa SSD juga menggunakan memori bandwidth tinggi (high bandwidth memory, HBM). Jenis arsitektur memori ini memungkinkan transfer data berkinerja tinggi dengan konsumsi daya yang lebih rendah daripada memori akses acak dinamis (dynamic random-access memory, DRAM), yang merupakan arsitektur memori yang lebih tradisional.

Aspek lain yang khas dari desain pusat data AI adalah arsitektur penyimpanan data yang dapat mengakomodasi fluktuasi permintaan data, misalnya lonjakan tak terduga. Alih-alih menjalankan beban kerja pada perangkat keras khusus, banyak pusat data (baik AI maupun konvensional) menggunakan arsitektur cloud di mana penyimpanan fisik divirtualisasi.

Virtualisasi adalah pembagian komponen perangkat keras pada satu komputer (misalnya, memori dan penyimpanan) menjadi beberapa virtual machine. Hal ini memungkinkan penggunaan sumber daya dan fleksibilitas yang lebih baik, karena pengguna dapat menjalankan beberapa aplikasi dan sistem operasi pada perangkat keras fisik yang sama.

Virtualisasi juga merupakan teknologi yang mendorong kemampuan hybrid cloud. Hybrid cloud meningkatkan ketangkasan dan fleksibilitas organisasi untuk menghubungkan cloud dan lingkungan on-premises, yang sangat penting untuk mengadopsi AI generatif yang padat data.

AI harus cepat. Pengguna mengharapkan respons instan dari aplikasi AI online, dan kendaraan otonom perlu mengambil keputusan dalam hitungan sepersekian detik di jalan. Oleh karena itu, jaringan pusat data AI harus dapat mendukung kebutuhan bandwidth tinggi dan latensi rendah untuk beban kerja AI. Untuk pusat data hyperscale, kebutuhan bandwidth dapat berkisar dari beberapa gigabit per detik (Gbps) hingga terabit per detik (Tbps).

Pusat data tradisional menggunakan serat optik untuk jaringan komunikasi eksternal mereka, tetapi sebagian besar rak di pusat data masih menjalankan komunikasi dengan kabel listrik berbasis tembaga. Optik yang dikemas bersama (co-packaged optics, CPO), sebuah proses baru dari IBM Research, berpotensi meningkatkan efisiensi energi  dan bandwidth dengan menghadirkan koneksi tautan optik ke dalam perangkat dan di dalam dinding pusat data yang digunakan untuk melatih dan menerapkan model bahasa besar (large language model, LLM). Inovasi ini dapat meningkatkan bandwidth komunikasi pusat data secara signifikan, sehingga mempercepat pemrosesan AI.

Hampir semua pusat data modern menggunakan layanan jaringan tervirtualisasi. Kemampuan ini memungkinkan pembuatan jaringan overlay yang ditentukan perangkat lunak, yang dibangun pada infrastruktur fisik jaringan. Hal ini memungkinkan optimalisasi komputasi, penyimpanan, dan jaringan untuk setiap aplikasi dan beban kerja tanpa harus membuat perubahan fisik pada infrastruktur.

Pusat data AI membutuhkan teknologi virtualisasi jaringan mutakhir dengan interkoneksi, skalabilitas, dan kinerja yang lebih baik. Teknologi ini juga harus dapat mengatasi masalah privasi dan keamanan data terkait dengan data bervolume besar yang digunakan untuk melatih model AI generatif.  Dalam survei IBM IBV, 57% CEO mengungkap bahwa kekhawatiran seputar keamanan data akan menjadi penghalang dalam adopsi AI generatif.

Daya komputasi tinggi, jaringan canggih, dan sistem penyimpanan yang luas di pusat data AI membutuhkan daya listrik yang sangat besar dan sistem pendingin canggih untuk menghindari pemadaman, waktu henti, dan kelebihan beban. Goldman Sachs meramalkan bahwa AI akan mendorong peningkatan permintaan listrik pusat data sebesar 165% pada tahun 2030. Selain itu, analisis McKinsey menunjukkan bahwa permintaan global tahunan untuk kapasitas pusat data dapat mencapai 171 hingga 219 gigawatt (GW). Saat ini, permintaan kapasitas pusat data adalah 60 GW.

Untuk memenuhi kebutuhan konsumsi energi dan pendinginan yang besar ini, beberapa pusat data AI menggunakan konfigurasi berkepadatan tinggi. Strategi ini memaksimalkan penggunaan ruang pusat data dengan konfigurasi server ringkas yang berkinerja lebih baik, lebih hemat energi, dan menggunakan sistem pendingin canggih.

Sebagai contoh, pendingin cair kerap menggunakan air daripada pendingin udara untuk mengalirkan dan menghilangkan panas. Langkah ini memberikan efisiensi lebih besar dalam penanganan panas berkepadatan tinggi dan meningkatkan efektivitas penggunaan daya (power usage effectiveness, PuE), metrik yang digunakan untuk mengukur efisiensi energi pusat data. Metode pendinginan lainnya, penahanan pendingin lorong panas dan/atau dingin, mengatur rak server untuk mengoptimalkan aliran udara dan meminimalkan percampuran udara panas dan dingin.

Mengingat kebutuhan daya yang signifikan ini, organisasi dewasa ini berupaya mencari keseimbangan antara ambisi AI dan tujuan keberlanjutan mereka. Salah satu contoh yang mengesankan datang dari Apple, salah satu pemilik pusat data hyperscale terbesar di dunia. Sejak tahun 2014, semua pusat data Apple telah sepenuhnya dijalankan dengan energi terbarukan melalui berbagai kombinasi sel bahan bakar biogas, tenaga air, tenaga surya, dan tenaga angin.

Sementara itu, organisasi lainnya tengah mencari sumber energi dari luar atmosfer bumi (extraterrestrial), dengan harapan dapat manfaatkan tenaga surya berintensitas tinggi dari luar angkasa untuk membangun pusat data baru. Terobosan dalam pusat data orbital berpotensi besar menurunkan biaya energi untuk melatih model AI, dengan memangkas biaya listrik hingga 95%.