NPU vs GPU: Apa bedanya?

GPU berisi ribuan inti untuk mencapai tugas komputasi yang cepat dan tepat yang diperlukan untuk rendering grafis. NPU memprioritaskan aliran data dan hierarki memori untuk memproses beban kerja AI yang lebih baik secara real-time.

Kedua jenis prosesor mikro ini unggul dalam jenis pemrosesan paralel yang digunakan dalam AI, tetapi NPU dibuat khusus untuk tugas machine learning (ML) dan kecerdasan buatan. 

Unit pemrosesan neural (NPU) sedang naik daun, tetapi mengapa teknologi yang sudah berusia hampir satu dekade ini tiba-tiba mencuri perhatian? Jawabannya berkaitan dengan kemajuan terbaru dalam AI generatif (kecerdasan buatan) yang menghidupkan kembali minat publik pada aplikasi AI, dan dengan sendirinya, chip akselerator AI seperti NPU dan GPU. 

Arsitektur NPU sangat berbeda dengan CPU atau GPU. Dirancang untuk mengeksekusi instruksi secara berurutan, CPU memiliki inti pemrosesan yang lebih sedikit daripada GPU, yang memiliki fitur lebih banyak inti dan dirancang untuk operasi yang menuntut yang membutuhkan pemrosesan paralel tingkat tinggi. 

Ketika CPU berjuang dengan tugas pemrosesan paralel dan GPU unggul dalam hal konsumsi energi yang tinggi, arsitektur NPU berkembang pesat dengan meniru cara otak manusia memproses data. Tidak hanya menambahkan inti tambahan, NPU mencapai paralelisme tinggi dengan konsumsi energi yang lebih sedikit melalui sejumlah fitur dan teknik unik:

• Unit komputasi khusus: NPU mengintegrasikan perangkat keras khusus untuk operasi perkalian dan akumulasi, penting untuk pelatihan dan inferensi model neural networks.

• Memori on-chip berkecepatan tinggi: Untuk meminimalkan hambatan yang terkait dengan akses memori, NPU memiliki fitur memori terintegrasi berkecepatan tinggi yang memungkinkan akses cepat ke data dan bobot model.

• Arsitektur paralel: NPU dirancang untuk melakukan ribuan operasi paralel, sehingga sangat efisien dalam memproses kumpulan data.

Saat membandingkan NPU dan GPU, berguna untuk menilai kinerja di seluruh fitur utama.

• GPU didesain untuk memecah tugas pemrosesan gambar yang berat menjadi operasi yang lebih kecil yang dapat diproses secara paralel.   

• NPU dirancang untuk meniru otak manusia dengan modul untuk mempercepat perkalian dan penjumlahan sekaligus meningkatkan memori on-chip.

• GPUs menawarkan kemampuan komputasi paralel yang sangat baik tetapi memakan konsumsi daya yang tinggi. 

• NPU menawarkan paralelisme yang sama (atau bahkan lebih baik), terutama dalam hal penghitungan yang singkat dan berulang. Dirancang untuk menangani jenis algoritma AI yang digunakan dalam neural networks, NPU sangat cocok untuk memproses kumpulan data skala besar yang membutuhkan perkalian matriks.

• GPU, meskipun lebih khusus daripada CPU, lebih cocok untuk komputasi tujuan umum.

• NPU adalah prosesor khusus yang dibuat khusus untuk AI dan tugas machine learning. Mereka melepaskan beberapa fitur berlebih yang digunakan oleh GPU untuk mengoptimalkan efisiensi energi.

• GPU, sebagai pendahulu NPU, mendapatkan manfaat dari lingkungan yang lebih berkembang dan tersedia secara luas di pasar konsumen. Tersedia untuk para profesional dan penggemar, bahasa CUDA dari Nvidia memungkinkan pemrograman GPU yang mudah dengan kompilasi sumber terbuka untuk berbagai sistem operasi. 

• NPU lebih baru daripada GPU dan umumnya kurang mudah diakses. Banyak NPU berpemilik, seperti Tensor Processing Unit (TPU) dari Google atau Snapdragon Qualcomm (digunakan oleh Apple), mungkin tidak tersedia untuk pasar yang lebih luas. Chip NPU yang diproduksi oleh produsen seperti Intel atau AMD memiliki sumber daya komunitas yang relatif lebih sedikit.

• GPU sering digunakan dalam permainan game dan animasi komputer, di mana kartu grafis bertanggung jawab untuk pengoptimalan pemrosesan gambar. Mereka juga efektif dalam aplikasi lain yang menuntut paralelisme tingkat tinggi, seperti di pusat data, penambangan kripto, atau pelatihan model AI.

• NPU digunakan dalam lingkup yang lebih terfokus dan menawarkan paralelisme yang luar biasa, namun membutuhkan daya yang lebih sedikit. Biasanya dikombinasikan dengan GPU, NPU melepaskan tugas AI yang lebih menuntut dan paling cocok untuk tugas machine learning seperti memproses beban kerja AI dalam model bahasa besar(LLM), pengenalan gambar melalui pembelajaran mendalam, atau blockchain dan AI. 

Memasukkan NPU ke dalam sistem terintegrasi menawarkan sejumlah keunggulan yang menonjol dibandingkan prosesor tradisional dalam hal kecepatan, efisiensi, dan kenyamanan. Manfaatnya mencakup yang berikut:

• Lokalisasi: Memproses aplikasi AI membutuhkan sumber daya komputasi yang signifikan, dan, karena alasan ini, sering diturunkan ke cloud. Namun, mengandalkan server yang jauh bisa memperlambat operasi dan membuat informasi sensitif rentan terhadap kemungkinan kebocoran data. NPU memungkinkan pemrosesan tugas AI secara real-time yang dilokalkan, menurunkan latensi untuk aplikasi penting seperti pengenalan suara atau wajah, diagnostik medis, dan sistem mengemudi otomatis. 

• Manajemen sumber daya: NPU yang terintegrasi secara umum dapat membantu mengoptimalkan sumber daya sistem secara keseluruhan dengan memikul tugas berulang yang diperlukan untuk aplikasi AI. Mengalihkan jenis tugas ini ke NPU akan membebaskan sumber daya GPU untuk memproses volume data yang besar untuk perhitungan yang lebih umum.

• Efisiensi: Meskipun GPU mampu menangani banyak tugas menuntut yang terkait dengan AI, NPU dibuat khusus untuk permintaan ini dan dapat memenuhi tolok ukur kinerja yang serupa atau bahkan lebih baik sekaligus membutuhkan daya yang jauh lebih sedikit, sebuah fitur yang sangat berharga untuk perangkat bertenaga baterai dengan kapasitas terbatas. 

Sebagai prosesor bersama, NPU telah digunakan selama beberapa tahun, biasanya diintegrasikan dengan GPU untuk mendukung dalam tugas-tugas tertentu yang berulang. NPU terus menjadi prosesor berharga dalam teknologi tingkat konsumen (seperti AI Copilot dari Microsoft Windows) dan berbagai perangkat Internet of Things (IoT) (seperti pengeras suara pintar yang menggunakan NPU untuk memproses pengenalan suara). 

Namun, perkembangan terbaru dalam teknologi AI semakin menyoroti jenis prosesor ini karena model AI yang lebih canggih menggiring alat AI tingkat konsumen ke dalam percakapan populer. Dirancang khusus untuk tugas AI yang menuntut, seperti pemrosesan bahasa alami, seiring dengan meningkatnya minat pada AI tingkat konsumen, begitu pula minat pada NPU. 

Contoh penggunaan utama untuk NPU meliputi hal berikut:

• Kecerdasan buatan dan model bahasa besar: NPU dibuat khusus untuk meningkatkan kinerja sistem AI dan ML, seperti model bahasa besar (LLM) yang memerlukan pemrosesan adaptif dengan latensi rendah untuk menginterpretasikan sinyal multimedia, melakukan pengenalan suara, dan menghasilkan respons alami. NPU juga mahir dalam tugas pemrosesan video yang diaktifkan AI, seperti mengaburkan latar belakang pada panggilan video atau mengedit gambar secara otomatis.   

• Perangkat Internet of Things (IoT): Bentuknya yang kecil dan hemat energi, NPU adalah prosesor bersama yang efektif untuk perangkat pintar kecil termasuk ponsel pintar, perangkat mobile, dan wearable di mana daya baterai mahal dan efisiensi diprioritaskan.

• Pusat data: Dengan fungsinya yang dikenal untuk memproses beban kerja yang menuntut, pusat data mendapat manfaat dari pengoptimalan sumber daya yang efisien yang ditawarkan oleh NPU. 

• Kendaraan otonom dan robotika: Dari mobil tanpa pengemudi hingga kendaraan udara otonom (drone), NPU memberikan nilai tambah pada sistem uji coba otonom melalui paralelisme terbaik di kelasnya dan kecepatan pemrosesan sinyal yang lebih baik. NPU latensi rendah adalah pilihan yang sangat baik untuk aplikasi yang membutuhkan visi komputer, dan mereka membantu kendaraan otonom merespons secara real-time terhadap lalu lintas dan kondisi lingkungan yang tiba-tiba. Robotika berkemampuan AI, dari asisten rumah hingga alat bedah otomatis, bergantung pada NPU untuk mengembangkan kemampuan deteksi, belajar dari dan bereaksi terhadap lingkungan mereka. 

• Komputasi edge dan AI edge: Komputasi edge dan AI edge berupaya menghadirkan data penting dan sumber daya komputasi lebih dekat secara fisik kepada pengguna. Ini menurunkan latensi, mengurangi konsumsi energi, dan meningkatkan privasi. Membutuhkan lebih sedikit energi dan menawarkan jejak fisik yang lebih kecil, NPU menjadi komponen berharga dalam komputasi edge dan AI di perangkat. 

Mendahului NPU, GPU telah lama disukai untuk tugas komputasi yang membutuhkan pemrosesan paralel intensif kinerja. Awalnya dirancang untuk menangani grafik kompleks untuk video game dan perangkat lunak gambar/video, GPU terus digunakan dalam game PC dan konsol, serta virtual dan augmented reality, komputasi kinerja tinggi (HPC), rendering 3D, pusat data, dan aplikasi lainnya. 

Berikut adalah gambaran lebih dekat tentang beberapa aplikasi modern yang paling penting dari teknologi GPU:

• Kecerdasan buatan (AI), machine learning (ML) dan pembelajaran mendalam (DL): Meskipun tidak dirancang khusus untuk tugas AI, ML, atau DL, GPU mendukung banyak aplikasi AI terkemuka, seperti superkomputer AI cloud native dari IBM, Vela, yang memerlukan paralelisme berkecepatan tinggi untuk memproses kumpulan data besar untuk pelatihan. Melalui pemrosesan paralel, GPU dapat menyimulasikan proses pengambilan keputusan otak manusia yang digunakan dalam ML dan DL. 

• Komputasi cloud: Dalam beberapa tahun terakhir, komputasi cloud telah menjadi bagian penting dari infrastruktur TI di semua industri besar. Kemampuan untuk membebankan tugas komputasi utama ke server yang kuat yang disimpan di luar lokasi membutuhkan kemampuan pemrosesan data yang sangat besar. GPU memungkinkan infrastruktur komputasi awan dengan mempercepat analitik big data dan kueri basis data melalui komputasi paralel. 

• Visualisasi dan simulasi: Dirancang khusus untuk memproses grafik, GPU memberikan nilai tambah yang luar biasa di seluruh industri untuk tugas-tugas yang membutuhkan visualisasi atau simulasi yang rumit, termasuk penelusuran produk, gambar CAD teknik, pencitraan medis, serta pemodelan seismik dan geofisika. Di tempat lain, ilmuwan iklim menggunakan simulasi yang didukung oleh GPU untuk memprediksi kondisi cuaca, sementara fisikawan teoretis menggunakannya untuk memodelkan perilaku partikel pada tingkat quantum.  

• Blockchain: Teknologi Blockchain sangat bergantung pada teknologi GPU, terutama dalam hal memvalidasi "bukti kerja." Pada banyak aplikasi blockchain yang digunakan secara luas, seperti mata uang digital Bitcoin, penghitungan bukti kerja dilakukan untuk mengonfirmasi bahwa setiap pembaruan yang dilakukan pada buku besar secara keseluruhan adalah akurat. Tingkat komputasi ini sangat sulit karena berdampak pada seluruh blockchain dan tidak akan mungkin terjadi tanpa GPU modern.

• Game dan metaverse: Seiring industri game yang terus meroket, demikian pula dengan permintaan untuk grafis yang lebih baik, game online dengan banyak pemain yang masif (MMO) yang lebih besar, dan rendering padat komputasi seperti rendering yang memungkinkan dijalankannya game virtual dan augmented reality. Pengembang game dan produsen komputasi mengandalkan GPU untuk menggerakkan berbagai fitur mutakhir, seperti kecepatan tinggi untuk penyegaran gambar dan ray-tracing canggih yang digunakan dalam rendering lingkungan hiperrealitas. 

• Pemrosesan video dan pembuatan konten: Sejak diperkenalkan, GPU terus mengurangi waktu rendering yang membuat frustasi untuk produk pengeditan video populer, termasuk Final Cut Pro dan Adobe Premiere. Kini, GPU yang dilengkapi dengan NPU terintegrasi secara signifikan mempercepat pembuatan video dan tugas pengeditan untuk segala hal, mulai dari rangkaian pengeditan profesional yang digunakan oleh studio besar Hollywood, hingga aplikasi ponsel pintar yang digunakan oleh pengguna YouTube dan TikTok.

NPU paling baik digunakan dalam sistem terintegrasi yang mengoptimalkan operasi untuk mengalokasikan jenis sumber daya tertentu ke jenis prosesor tertentu. Dirancang untuk komputasi linier yang tepat, CPU paling baik dialokasikan untuk proses tujuan umum seperti manajemen sistem dan sumber daya, sementara GPU dikhususkan untuk beban kerja intens yang memanfaatkan komputasi paralel.

Ketika aplikasi kecerdasan buatan menjadi lebih umum, NPU yang lebih khusus sebaiknya diterapkan sebagai pelengkap CPU dan GPU untuk menangani tugas-tugas khusus AI dan ML dengan latensi rendah dan pemrosesan paralel yang sangat hemat energi.