Apa itu unit pemrosesan neural (NPU)?

Berbeda dari unit pemrosesan pusat tujuan umum (CPU) atau unit pemrosesan grafis (GPU), NPU dirancang untuk mempercepat tugas dan beban kerja AI, seperti menghitung lapisan neural networks yang terdiri dari matematika skalar, vektor, dan tensor.

Dikenal juga sebagai chip AI atau akselerator AI, NPU biasanya digunakan dalam arsitektur komputasi heterogen yang menggabungkan beberapa prosesor (misalnya, CPU dan GPU). Pusat data skala besar dapat menggunakan NPU yang berdiri sendiri yang terpasang langsung ke motherboard sistem; namun, sebagian besar aplikasi konsumen, seperti ponsel pintar, perangkat mobile, dan laptop, menggabungkan NPU dengan sesama prosesor lain pada microchip semikonduktor tunggal yang dikenal sebagai system-on-chip (SoC).

Dengan mengintegrasikan NPU khusus, produsen dapat menawarkan aplikasi AI generatif pada perangkat yang mampu memproses aplikasi AI, beban kerja AI, dan algoritma machine learning secara real-time dengan konsumsi daya yang relatif rendah dan throughput tinggi.     

Unit pemrosesan neural (NPU) sangat cocok untuk tugas-tugas yang membutuhkan komputasi paralel dengan latensi rendah, seperti pemrosesan algoritma pembelajaran mendalam, pengenalan suara, pemrosesan bahasa alami, pemrosesan foto dan video, serta deteksi objek. 

Fitur utama NPU meliputi yang berikut ini:

• Pemrosesan paralel: NPU dapat memecah masalah yang lebih besar menjadi beberapa komponen untuk pemecahan masalah melakukan banyak tugas sekaligus. Hal ini memungkinkan prosesor untuk menjalankan beberapa operasi neural networks secara bersamaan. 

• Aritmetika presisi rendah: NPU sering kali mendukung operasi 8-bit (atau lebih rendah) untuk mengurangi kompleksitas komputasi dan meningkatkan efisiensi energi. 

• Memori bandwidth tinggi: Banyak NPU memiliki fitur memori bandwidth tinggi pada chip untuk secara efisien melakukan tugas pemrosesan AI yang membutuhkan kumpulan data besar.

• Akselerasi perangkat keras: Kemajuan dalam desain NPU telah mengarah pada penggabungan teknik akselerasi perangkat keras seperti arsitektur array sistolik atau pemrosesan tensor yang lebih baik.  

Berdasarkan neural networks otak, unit pemrosesan neural (NPU) bekerja dengan menyimulasikan perilaku neuron dan sinapsis manusia pada lapisan sirkuit. Hal ini memungkinkan pemrosesan kumpulan instruksi pembelajaran mendalam di mana satu instruksi menyelesaikan pemrosesan satu kumpulan neuron virtual.

Tidak seperti prosesor tradisional, NPU tidak dibangun untuk perhitungan yang tepat. Sebaliknya, NPU dibuat khusus untuk fungsi pemecahan masalah dan dapat berkembang seiring waktu, belajar dari berbagai jenis data dan input. Mengambil keuntungan dari machine learning, sistem AI yang menggabungkan NPU dapat memberikan solusi khusus lebih cepat, tanpa memerlukan lebih banyak pemrograman manual.

Sebagai fitur yang menonjol, NPU menawarkan pemrosesan paralel yang unggul, dan mampu mempercepat operasi AI melalui inti berkapasitas tinggi yang disederhanakan, yang dibebaskan dari melakukan berbagai jenis tugas. NPU mencakup modul khusus untuk perkalian dan penjumlahan, fungsi aktivasi, operasi data 2D, dan dekompresi. Modul perkalian dan penambahan khusus digunakan untuk melakukan operasi yang relevan dengan pemrosesan aplikasi neural networks, seperti menghitung perkalian dan penambahan matriks, konvolusi, perkalian titik, dan fungsi lainnya. 

Sementara prosesor tradisional membutuhkan ribuan instruksi untuk menyelesaikan jenis pemrosesan neuron ini, NPU mungkin dapat menyelesaikan operasi serupa hanya dengan satu instruksi. NPU juga akan mengintegrasikan penyimpanan dan komputasi melalui bobot sinaptik, variabel komputasi fluida yang ditetapkan ke node jaringan yang menunjukkan probabilitas hasil “benar” atau “diinginkan” yang dapat menyesuaikan atau “belajar” dari waktu ke waktu, yang mengarah ke peningkatan efisiensi operasional.

Sementara pengembangan NPU terus berkembang, pengujian telah menunjukkan beberapa kinerja NPU lebih dari 100 kali lebih baik daripada GPU yang sebanding, dengan konsumsi daya yang sama. 

Unit pemrosesan saraf (NPU) tidak dirancang atau diharapkan untuk menggantikan CPU dan GPU tradisional. Namun, arsitektur NPU meningkatkan desain kedua prosesor tersebut untuk memberikan paralelisme dan machine learning yang tak tertandingi dan lebih efisien. Mampu meningkatkan operasi umum (tetapi paling cocok untuk jenis tugas umum tertentu), bila dikombinasikan dengan CPU dan GPU, NPU menawarkan beberapa keunggulan berharga dibandingkan sistem tradisional. 

Keuntungan utama meliputi yang berikut:

• Pemrosesan paralel: Seperti yang telah disebutkan, NPU dapat memecah masalah yang lebih besar menjadi beberapa komponen untuk pemecahan masalah melakukan banyak tugas sekaligus. Kuncinya adalah bahwa meski GPU juga unggul dalam pemrosesan paralel, struktur unik NPU dapat mengungguli GPU yang setara dengan konsumsi energi yang lebih sedikit dan jejak fisik yang lebih kecil. 

• Peningkatan efisiensi: Meskipun GPU sering digunakan untuk komputasi berkinerja tinggi dan tugas-tugas AI, NPU dapat melakukan pemrosesan paralel yang serupa dengan efisiensi daya yang jauh lebih baik. Karena AI dan komputasi tinggi lainnya menjadi semakin umum dan membutuhkan lebih banyak energi, NPU menawarkan solusi berharga untuk mengurangi konsumsi daya penting. 

• Pemrosesan data multimedia real-time: NPU didesain untuk memproses dan merespons input data yang lebih baik dan lebih luas, termasuk gambar, video, dan ucapan. Aplikasi yang meningkatkan kemampuan seperti robotika, perangkat Internet of Things (IoT), dan wearable dengan NPU dapat memberikan masukan real-time, mengurangi hambatan operasional, dan memberikan masukan dan solusi penting ketika waktu respons merupakan hal terpenting. 

Dalam dunia ilmu komputer klasik, unit pemrosesan pusat (CPU) dianggap sebagai “otak” komputer. CPU memproses sebagian besar tugas komputasi tradisional dan bertanggung jawab atas berbagai aplikasi potensial. Meskipun ada banyak jenis yang berbeda, umumnya semua CPU melakukan operasi dalam urutan linier, menanggapi permintaan sesuai dengan urutan kedatangan permintaan tersebut. 

Dari tahun 1950-an hingga 1990-an, CPU menanggung beban hampir semua pemrosesan komputer, mengeksekusi instruksi untuk menjalankan program, sistem kontrol, dan mengelola input/output (I/O).

Aplikasi yang menuntut secara teratur mendorong generasi demi generasi desain CPU ke batas perangkat kerasnya, yang sering kali menyebabkan perlambatan yang signifikan atau bahkan kegagalan sistem. Namun, dengan munculnya permainan komputer pribadi dan desain berbantuan komputer (CAD) pada tahun 1980-an, industri ini memerlukan solusi yang lebih cepat dan lebih efisien untuk merender grafik komputer. 

Unit pemrosesan grafis (GPU) awalnya dibuat untuk melepaskan tugas pemrosesan gambar yang menuntut dari CPU utama. Meskipun cenderung menggunakan lebih sedikit inti untuk melakukan operasi linier, GPU memiliki ratusan hingga ribuan inti dengan kemampuan untuk melakukan pemrosesan paralel, sebuah proses di mana tugas-tugas besar dipecah menjadi masalah lebih kecil yang dapat diselesaikan secara bersamaan oleh beberapa prosesor dan/atau inti. 

Awalnya dikembangkan untuk menangani kebutuhan pemrosesan video dan gambar, kemampuan pemrosesan paralel GPU telah membuat perangkat keras yang sepenuhnya cocok untuk aplikasi komputasi menuntut lainnya, seperti tugas terkait blockchaindan AI. Meskipun GPU bukan satu-satunya jenis prosesor yang mampu melakukan pemrosesan paralel atau komputasi paralel, mereka sangat cocok untuk paralelisme. Namun, GPU bukannya tanpa keterbatasan dan biasanya membutuhkan konsumsi daya yang sangat mahal untuk menjalankan operasi yang lebih sulit. Peningkatan kinerja GPU disertai peningkatan biaya energi. 

NPU dan akselerator AI lainnya menawarkan alternatif yang lebih efisien. Menggabungkan dan meningkatkan paralelisme GPU yang canggih, NPU yang dirancang khusus untuk operasi AI memberikan kinerja tinggi dengan konsumsi daya yang lebih rendah (dan bonus tambahan berupa jejak fisik yang lebih kecil).

• Unit pemrosesan pusat: "Otak" dari komputer. CPU biasanya mengalokasikan sekitar 70% dari transistor internal mereka untuk membangun memori cache dan merupakan bagian dari unit kontrol komputer. Mereka memiliki inti yang relatif sedikit, menggunakan arsitektur komputasi serial untuk pemecahan masalah linier dan dirancang untuk operasi kontrol logika yang tepat. 

• Unit pemrosesan grafis: Pertama kali dikembangkan untuk menangani pemrosesan gambar dan video, GPU mengandung lebih banyak inti daripada CPU dan menggunakan sebagian besar transistornya untuk membangun beberapa unit komputasi, masing-masing dengan kompleksitas komputasi rendah yang memungkinkan pemrosesan paralel tingkat lanjut. Cocok untuk beban kerja yang membutuhkan pemrosesan data skala besar, GPU dimanfaatkan secara luas dalam big data, pusat server backend, dan aplikasi blockchain.

• Unit pemrosesan neural: Dibangun berdasarkan paralelisme GPU, NPU menggunakan arsitektur komputer yang dirancang untuk menyimulasikan neuron otak manusia untuk memberikan kinerja tinggi yang sangat efisien. NPU menggunakan bobot sinaptik untuk mengintegrasikan penyimpanan dan komputasi, sehingga terkadang memberikan solusi yang kurang tepat pada latensi sangat rendah. Sementara CPU dirancang untuk komputasi linier yang tepat, NPU dibangun untuk machine learning, menghasilkan peningkatan kemampuan melakukan banyak tugas sekaligus, pemrosesan paralel, dan kemampuan untuk menyesuaikan dan memodifikasi operasi seiring waktu tanpa memerlukan pemrograman lain. 

Sebagai teknologi yang sedang berkembang, banyak produsen komputer dan perangkat keras terkemuka, termasuk Microsoft, Intel, Nvidia, Qualcomm, dan Samsung, menawarkan unit pemrosesan saraf (NPU) yang berdiri sendiri atau variasi yang terintegrasi, seperti Apple Neural Engine.

Memasukkan NPU ke dalam elektronik kelas konsumen menawarkan berbagai manfaat, seperti peningkatan pengenalan gambar dan pengoptimalan untuk kamera berkemampuan AI untuk mengaburkan latar belakang pada panggilan video dengan lebih baik. Beberapa aplikasi tambahan untuk NPU meliputi yang berikut ini.

Sebagai jenis akselerator AI, NPU dibuat khusus untuk meningkatkan kinerja sistem AI dan ML, seperti neural networks. Melengkapi GPU, paralelisme NPU yang ditingkatkan menawarkan peningkatan drastis untuk model bahasa besar yang membutuhkan pemrosesan adaptif latensi rendah untuk menafsirkan sinyal multimedia, melakukan pengenalan suara, dan menghasilkan bahasa alami dan seni yang digunakan dalam alat seperti chatbot AI dan gambar AI generatif serta aplikasi video .  

Dengan kemampuan pemrosesan paralel yang luar biasa dan belajar mandiri, NPU sangat cocok untuk perangkat IoT pada jaringan, seperti wearable, asisten suara, dan peralatan pintar. 

AI dan machine learning telah menjadi keuntungan besar bagi pusat data yang berusaha mengoptimalkan sumber daya energi. NPU berkinerja tinggi dan hemat energi menawarkan nilai luar biasa untuk pusat data yang menawarkan manajemen sumber daya yang lebih baik untuk komputasi cloud. 

Kendaraan otonom seperti drone atau mobil otonom dan truk mendapat manfaat besar dari kemampuan pemrosesan real-time NPU, memungkinkan koreksi jalur yang lebih cepat dan lebih baik berdasarkan input sensor multimedia. Dengan pemrosesan paralel yang tak tertandingi, NPU dapat membantu kendaraan otonom menafsirkan dan memproses input yang berkembang dengan cepat, seperti rambu-rambu jalan, pola lalu lintas, dan bahkan rintangan yang tidak terduga.

Sementara komputasi cloud menawarkan solusi data dan sumber daya di luar lokasi yang canggih untuk IoT, perangkat pintar, dan perangkat komputasi pribadi lainnya, komputasi edge dan AI edge berupaya menghadirkan data penting dan sumber daya komputasi lebih dekat secara fisik kepada pengguna. Ini mengurangi latensi, mengurangi konsumsi energi, dan meningkatkan privasi. Membutuhkan lebih sedikit energi dan menawarkan jejak fisik yang lebih kecil, NPU menjadi komponen berharga dalam komputasi edge dan AI pada perangkat. 

Mahir menangani tugas yang membutuhkan machine learning dan visi komputer, NPU menawarkan dukungan penting untuk pengembangan industri. Robotika berkemampuan AI dari asisten rumah hingga alat bedah otomatis bergantung pada NPU untuk mengembangkan kemampuan mendeteksi, belajar dari dan bereaksi terhadap lingkungan mereka.