Apa itu model penalaran hierarkis (HRM)?

Lebih detailnya, HRM adalah arsitektur jaringan neural khas yang menerapkan satu algoritma khas untuk menghasilkan output serta menerapkan beberapa algoritma khas untuk mengoptimalkan parameter model selama pelatihan. Meskipun kinerja HRM kerap dibandingkan dengan LLM untuk tolok ukur tertentu yang secara historis didominasi oleh penalaran LLM, perbandingan tersebut sebenarnya tidak setara. HRM adalah model sempit dan spesifik per tugas yang dirancang secara eksplisit untuk menangani masalah penalaran, sedangkan LLM penalaran merupakan model generalis yang dapat diterapkan pada masalah penalaran (serta banyak tugas lainnya).

Meskipun mampu memecahkan masalah kompleks, HRM tidak mampu melakukan percakapan, pembuatan kode, peringkasan, atau tugas lain yang biasanya terkait dengan model AI generatif. Agar dapat menyelesaikan masalah sesuai keinginan Anda, HRM harus dilatih langsung menggunakan jenis masalah yang relevan. Sebaliknya, LLM biasanya dilatih menggunakan sejumlah besar data yang sangat bervariasi, kemudian diinstruksikan (melalui prompting dengan beberapa contoh) untuk memecahkan masalah baru dengan menyimpulkan aturan-aturannya.

Inti dari konsep HRM adalah “hierarki” loop berulang yang terinspirasi dari cara otak manusia memproses informasi pada berbagai tingkat dan frekuensi. Sebuah “loop dalam” (inner loop) terdiri dari dua modul. Modul pertama melakukan komputasi tingkat rendah dengan cepat, dan modul lainnya yang lebih lambat, tetapi memiliki komputasi tingkat tinggi, memandu modul tingkat rendah yang pertama. Sebuah “loop luar” (outer loop) memandu loop dalam untuk mengulangi komputasinya secara iteratif guna menyempurnakan dan meningkatkan kualitas output model.

HRM pertama kali diperkenalkan sebagai model sumber terbuka yang dijelaskan dalam sebuah makalah oleh Guan Wang, dkk. pada bulan Juni 2025. Berukuran hanya 27 juta parameter, model ini mengalahkan model-model yang jauh lebih besar, seperti o3 dari OpenAI,Claude 3.7 Sonnet dari Anthropic, dan Deepseek-R1—yang memiliki 671 miliar parameter—pada beberapa tolok ukur yang menantang, termasuk ARC-AGI, Sudoku-Extreme, dan Maze-Hard.

Model ini sendiri sebagian besar bersifat eksperimental, dan makalah ini mencatat berbagai kendala praktis sekaligus berbagai kemungkinan yang belum dieksplorasi demi untuk di masa mendatang. Namun demikian, keberhasilan HRM menjadikannya pendekatan alternatif yang menarik untuk menskalakan sistem penalaran, terutama mengingat model ini mampu memberikan efisiensi data ekstrem dalam pelatihan dan ukurannya ribuan kali lebih kecil daripada kebanyakan LLM. Eksplorasi riset berikutnya, seperti model berulang kecil (tiny recurrent model, TRM), mencapai kemajuan lebih besar dengan menyempurnakan pendekatan dasar HRM dan mengambil inspirasi dari teknik baru yang diperkenalkannya.

Model penalaran konvensional adalah LLM yang telah disempurnakan melalui pembelajaran penguatan (reinforcement learning) untuk menghasilkan rantai pemikiran (chain of thought, CoT) langkah demi langkah sebelum memberikan respons akhir kepada pengguna. Proses “verbalisasi” proses penalaran ini terbukti secara empiris dapat meningkatkan akurasi model pada matematika, pengodean, dan tugas logis yang kompleks lainnya.

Meskipun pendekatan ini terbukti berhasil, banyak yang memperdebatkan bahwa LLM—bahkan LLM penalaran terdepan—bukan merupakan dan tidak akan menjadi jalan menuju kecerdasan umum buatan (artificial general intelligence atau AGI). Pada tingkat neurologis, bahasa pada dasarnya merupakan alat untuk berkomunikasi, bukan berpikir.

Secara garis besar, pendekatan HRM yang lebih terinspirasi oleh ilmu saraf lebih mendekati cara otak manusia bekerja mengatasi masalah abstrak. Berbeda dengan LLM, HRM bernalar secara internal tanpa “memverbalkan” proses ini. Dalam istilah yang lebih teknis, jika model penalaran konvensional bernalar dengan “lantang” di ruang token, HRM bernalar secara internal di ruang laten. LLM “bernalar” dengan secara iteratif menyempurnakan kata-kata nyata (token) yang dihasilkannya, tetapi HRM mengatasi masalah dengan secara iteratif menyempurnakan status tersembunyi, yakni komputasi perantara internal model yang mirip pemikiran dan digunakan untuk menghasilkan output akhirnya.

Ingatlah baru-baru ini ketika Anda memecahkan masalah kompleks: Anda bisa jadi melakukan monolog batin, tetapi tidak benar-benar memverbalkan seluruh proses berpikir di kepala Anda (atau dengan lantang) dalam kalimat yang rapi dan lengkap. Kemungkinan besar, otak Anda bertindak secara naluriah dan tanpa kata-kata. Dari pemikiran naluriah awal tersebut, hadirlah beberapa kemiripan rencana pada tingkat yang lebih tinggi dalam pikiran Anda. Anda kemudian secara batiniah melakukan tiap langkah yang dicakup dalam strategi tersebut, serta menyempurnakan rencana keseluruhan selama berlangsungnya proses. Akhirnya, Anda sampai pada solusi yang terasa memuaskan.

Penyempurnaan LLM dengan teknik pembelajaran penguatan dapat mengajari model agar menghasilkan output yang meniru proses berpikir, sedangkan HRM—dengan meminjam beberapa prinsip dari neurosains sistem—berupaya mereplikasi proses berpikir.

Sebagaimana dijelaskan dalam makalah “Hierarchical Reasoning Model”, desain HRM terinspirasi oleh konsep pemikiran “Sistem 1” dan “Sistem 2”. Ini adalah istilah metaforis yang dicetuskan mendiang pemenang Nobel, Daniel Kahneman, dalam bukunya yang berjudul Thinking, Fast and Slow untuk menjelaskan berbagai tingkat operasi pemikiran manusia. “Sistem 1" bersifat cepat, di bawah sadar, dan intuitif. Pemikiran “Sistem 2” bersifat lambat, disengaja, dan logis. Oleh karena itu, HRM menerapkan suatu hierarki, di mana komputasi sistem cepat yang menangani komputasi tingkat rendah dipandu oleh sistem yang lebih lambat untuk menangani perencanaan tingkat tinggi.

Berdasarkan prinsip machine learning , model penalaran hierarkis dapat dipahami sebagai bentuk jaringan neural berulang (recurrent neural network, RNN) yang sangat khusus, dengan modifikasi yang mengatasi kekurangan praktis dari RNN standar. Yang paling menonjol dari kekurangan tersebut adalah konvergensi dini. Ini adalah kecenderungan RNN untuk berhenti belajar, jauh sebelum RNN sepenuhnya menyerap semua pola dan dependensi dalam urutan data pelatihan.

Selama pelatihan model, RNN cenderung cepat konvergen pada bobot model yang tidak cukup dioptimalkan untuk mencapai kinerja yang akurat. Hal ini umumnya disebabkan oleh gradien yang hilang (vanishing gradients): jika langkah komputasi terlalu banyak atau urutan terlalu panjang, ukuran pembaruan parameter model yang dikomputasi selama propagasi balik akan menjadi sangat kecil sehingga menyusut menjadi nol. Bobot model mencapai keseimbangan lokal yang mencerminkan pola jangka pendek, sehingga model tidak dapat mencapai keseimbangan global yang mencerminkan pola data pelatihan secara penuh dan komprehensif.

Banyak modifikasi struktur RNN standar, seperti memori jangka pendek panjang (long short-term memory, LSTM), diusulkan untuk memperbaiki kekurangan ini, tetapi HRM mengambil pendekatan baru. Modul tingkat tinggi yang mirip “Sistem 2” dirancang untuk belajar saat setiap kali modul tingkat rendah konvergen pada keseimbangan lokal. Pembaruan pada sistem tingkat tinggi ini kemudian memberikan konteks baru bagi sistem tingkat rendah untuk beroperasi di dalamnya, sehingga memungkinkannya untuk melanjutkan belajar hingga konvergen pada keseimbangan lokal baru (pada titik ini, sistem tingkat tinggi diperbarui kembali).

Output dari “loop dalam” ini diberikan kepada “loop luar” yang mempelajari cara meningkatkan output masa lalunya secara iteratif. Secara keseluruhan, konfigurasi ini memanfaatkan kecepatan dan kesederhanaan RNN sekaligus memberikan pembelajaran yang lebih stabil dan “jauh lebih mendalam” daripada yang mungkin dilakukan dengan jaringan berulang.

“Loop dalam” pada arsitektur model HRM terdiri dari dua modul berulang. Kedua modul ini menggunakan mekanisme perhatian dalam konfigurasi blok transformer standar. Modul pertama, “modul-L”, dirancang untuk menangani komputasi tingkat rendah dengan cepat. Modul kedua, “modul-H”, dirancang untuk menangani perencanaan jangka panjang dan penalaran pada tingkat yang lebih tinggi.

Modul-L pada dasarnya berfungsi layaknya RNN standar, yang cenderung membidik pola jangka pendek dengan cepat dan berhenti memperbarui status tersembunyinya. Namun, meski pembaruan status RNN standar pada langkah waktu t dikondisikan hanya dengan status tersembunyinya pada langkah waktu t-1 sebelumnya, pembaruan pada status tersembunyi modul-L z_L—dan oleh karenanya, hal-hal yang dibidiknya—juga dikondisikan oleh status tersembunyi modul-H saat ini, yaitu z_H.

Status tersembunyi modul-H berubah jauh lebih lambat daripada status tersembunyi modul-L. Loop dalam beroperasi dalam siklus langkah waktu T: setelah modul-L memperbarui status tersembunyi z_L  sebanyak T kali, modul-H menggunakan status akhir z_L untuk memperbarui z_H. Dengan langkah waktu T, modul-L sering kali sudah konvergen pada keseimbangan lokal dan berhenti memperbarui. Namun, karena pembaruan pada z_L dikondisikan pada nilai z_H saat ini, tiap pembaruan z_H memberikan konteks baru bagi modul-L. Hal ini memulai “fase konvergensi” baru, yang memungkinkan modul tingkat rendah untuk terus belajar.

Singkatnya, tiap kali modul-L “menyelesaikan” tugas jangka pendek, modul-H akan diperbarui. Pembaruan pada modul-H mengarahkan modul-L untuk menyelesaikan tugas jangka pendek baru. Pada dasarnya, modul-H melakukan perencanaan jangka panjang, sementara modul-L melaksanakan beberapa subtugas lebih kecil yang diperlukan oleh rencana jangka panjang tersebut. Loop ini, yang mencakup pembaruan T pada modul-L, dilakukan sebanyak N kali. Baik T maupun N adalah hiperparameter yang dapat disesuaikan.

Secara keseluruhan, arsitektur HRM inti yang mendukung loop dalam mencakup empat komponen yang dapat dipelajari:

• Jaringan input yang mengonversi token (mewakili detail teka-teki yang harus dipecahkan oleh model) menjadi penyematan vektor.

• Modul berulang tingkat rendah (modul-L).

• Modul berulang tingkat tinggi (modul-H), yang status tersembunyi terakhirnya setelah N siklus diteruskan ke jaringan output.

• Jaringan output yang mengambil nilai akhir z_H dan menggunakan fungsi softmax untuk mengonversi status tersembunyi tersebut menjadi probabilitas yang digunakannya untuk memprediksi nilai token output (yang secara kolektif mewakili solusi teka-teki).

Berbeda dengan LLM penalaran, HRM bukanlah model generalis. HRM harus dilatih langsung menggunakan tugas sempit yang harus diselesaikannya. Meskipun makalah tersebut melaporkan bahwa “HRM” mencapai kinerja yang sangat baik pada Sudoku, pencarian jalur labirin, dan teka-teki ARC-AGI, para penulisnya benar-benar mengacu pada tiga HRM terpisah. HRM pertama dilatih dengan Sudoku, HRM kedua dilatih dengan labirin, dan HRM ketiga dilatih dengan teka-teki ARC-AGI.

LLM penalaran menjalani prapelatihan awal melalui pembelajaran terawasi mandiri pada sejumlah besar titik data tanpa label. LLM ini kemudian menjalani penyempurnaan terawasi (supervised fine-tuning, SFT) untuk mempelajari struktur respons yang tepat, penyesuaian instruksi untuk mempelajari cara menyelesaikan tugas sesuai keinginan, dan kemudian penyempurnaan lebih lanjut melalui pembelajaran penguatan untuk menanamkan penalaran CoT. Secara keseluruhan, ini memerlukan jutaan bahkan miliaran titik data dan pelatihan berminggu-minggu.

Untuk membuat data pelatihan bagi HRM, para penulis menggunakan augmentasi data. Dari sejumlah kecil contoh pelatihan asli (yang terdiri dari pasangan teka-teki yang belum terpecahkan dan solusinya, yang masing-masing diberi label), contoh tambahan dibuat menggunakan transformasi kecil (seperti rotasi, pembalikan, atau pertukaran warna). Tiap-tiap HRM yang dijelaskan dalam makalah tersebut dilatih hanya menggunakan (sekitar) 1.000 contoh pelatihan yang dibuat dengan menerapkan augmentasi data tersebut pada sekumpulan kecil sampel asli.

Kedua pendekatan tersebut memiliki manfaatnya masing-masing. LLM penalaran dapat menyimpulkan aturan dari teka-teki tertentu tanpa instruksi eksplisit, tetapi membutuhkan triliunan token data untuk mendapatkan kemampuan tersebut. HRM hanya dapat melakukan tugas terbatas yang telah dilatihkan kepadanya, tetapi dapat mencapai kinerja yang sebanding atau bahkan lebih baik dengan parameter dan contoh pelatihan yang jauh lebih sedikit.

HRM menggunakan trik pengoptimalan cerdas untuk menyederhanakan dan menstabilkan proses pengoptimalan parameter model, sekaligus menghindari kekurangan yang biasanya terdapat pada RNN standar.

RNN menggunakan bentuk propagasi balik (backpropagation) yang spesifik untuk perulangan, yang disebut propagasi balik melalui waktu (backpropagation through time, BPTT), untuk mengomputasi gradien akumulasi kerugian setiap langkah waktu. Karena RNN standar meningkatkan jumlah langkah waktu, BPTT pasti mengalami masalah gradien yang menghilang (vanishing gradients).

Untuk menghindari hal ini, serta untuk mengurangi kebutuhan memori secara signifikan, HRM menyederhanakan tujuan pengoptimalannya. Alih-alih menghitung gradien pada setiap langkah waktu, HRM hanya melaksanakan BPTT pada status final modul-L dan status final modul-H. Hal ini didasarkan pada asumsi sederhana: jika Anda mengetahui bagaimana output akhir harus berubah dan mengoptimalkan bobot model agar berubah ke status akhir modul-L dan modul-H yang sesuai, semua hal lainnya akan berjalan dengan sendirinya.

Layaknya elemen HRM lainnya, model ini terinspirasi dari neurosains dan pengalaman anekdot. Bayangkan seseorang (atau model) yang mencoba mempelajari permainan menyeimbangkan balok Jenga. Seseorang tidak perlu mempelajari cara mengoptimalkan tiap sentuhan dan dorongan pada sebuah balok setiap kali gilirannya tiba. Jika diasumsikan bahwa balok-balok ditata dengan cara tertentu (input) dan bahwa pada giliran bermain, Anda menjatuhkan semua balok (hilangnya output Anda), cukup dua hal berikut yang perlu Anda pahami untuk meningkatkan teknik bermain:

1. Balok mana yang seharusnya saya pindahkan? Refleksi ini merupakan analogi status akhir optimal dari modul tingkat tinggi.
2. Bagaimana seharusnya saya memperlakukan balok tersebut agar bisa diambil tanpa menjatuhkan balok-balok lainnya? Refleksi ini merupakan analogi status akhir dari modul tingkat rendah.

Para penulis makalah menemukan bahwa perkiraan satu langkah BPTT ini bekerja cukup baik sehingga hanya mengoptimalkan kedua pertimbangan tersebut sudah cukup untuk membangun dinamika pembelajaran yang kuat dan stabil.

HRM juga menggunakan loop luar yang memungkinkan model menyempurnakan output akhirnya secara iteratif dalam proses yang disebut sebagai “pengawasan mendalam” oleh para penulis makalah tentang HRM tersebut. Riset berikutnya menunjukkan bahwa loop luar merupakan komponen HRM terpenting, bahkan jika dibandingkan dengan loop dalam.

Dalam pembelajaran terawasi standar untuk jaringan neural, model yang dilatih diberikan input dan melakukan proses maju tunggal (single forward pass) untuk menghasilkan output. Fungsi kerugian mengukur kesalahan output tersebut. Kemudian, propagasi balik digunakan untuk menghitung gradien kerugian: bagaimana perubahan apa pun pada variabel apa pun dalam jaringan neural akan meningkatkan atau mengurangi kerugian secara keseluruhan. Terakhir, algoritma penurunan gradien tertentu menggunakan informasi tersebut untuk memperbarui parameter model. Proses iteratif ini kemudian dimulai ulang terus-menerus hingga kerugian diminimalkan pada ambang batas yang dapat diterima.

Pengawasan mendalam tidak memulai ulang seluruh proses setelah model menghasilkan output awal melalui proses maju tunggal. Sebaliknya, langkah ini memerlukan beberapa proses maju, yang masing-masing disebut sebagai “segmen”. Setelah setiap segmen m, kerugian dihitung dan parameter model dioptimalkan sedemikian rupa. Kemudian, status tersembunyi akhir modul-H (z_H) dan modul-L (z_L) diberikan kembali kepada model sebagai titik awal untuk proses maju berikutnya. Dengan demikian, model dapat secara iteratif memperbaiki output dengan menggunakan hal yang telah “dipelajari” dari pembaruan parameter model pada segmen sebelumnya.

Proses ini diulangi sebanyak M segmen, dengan titik awal loop dalam untuk setiap segmen m+1 berikutnya adalah  $z_H{}^{mNT}$  dan  $z_L{}^{mNT}$ : dengan kata lain, status tersembunyi akhir modul-H dan modul-L setelah N loop dalam T langkah waktu selama segmen m sebelumnya.          

Untuk mempertahankan efisiensi model, pencipta HRM menambahkan mekanisme waktu komputasi adaptif (adaptive computation time, ACT) guna membantu model belajar ketika output yang diberikan cukup baik (atau sebaliknya, jika model harus memulai loop penyempurnaan lain). Untuk mewujudkan hal ini, model menggabungkan Q-learning, salah satu jenis algoritma pembelajaran penguatan yang umum. 

Setelah setiap segmen, status akhir modul tingkat tinggi, z_H diteruskan tidak hanya ke jaringan output, tetapi juga ke modul lain yang disebut “Q-head”, dengan bobot tersendiri yang dapat dipelajari. Setelah z_H dikalikan dengan bobot Q-head, model menggunakan fungsi sigmoid (yang memetakan semua input ke nilai antara 0–1) yang menghasilkan nilai untuk berhenti (halt) dan nilai untuk lanjut (continue). Jika nilai untuk berhenti lebih besar, model akan menghasilkan output akhir. Jika nilai untuk lanjut lebih besar, model akan memulai segmen lain.

Oleh karena itu, keseluruhan fungsi kerugian untuk proses pengawasan mendalam setelah setiap segmen menggabungkan dua istilah:

• Satu bagian mencerminkan kerugian untuk tugas itu sendiri: seberapa akurat output model?

• Bagian lain mencerminkan kerugian dari Q-head: jika model memprediksi nilai lebih tinggi untuk “berhenti” daripada untuk “lanjut”, apakah model mengambil keputusan yang benar?

Seiring waktu, model belajar menggunakan lebih banyak komputasi—yaitu, melakukan lebih banyak loop penyempurnaan—untuk masalah yang lebih sulit dan menggunakan lebih sedikit komputasi untuk masalah yang lebih mudah. Perlu diketahui bahwa ide serupa, meski dengan implementasi yang berbeda, telah dieksplorasi cukup awal untuk transformer.

ARC Prize, organisasi nirlaba yang mengelola tolok ukur ARC-AGI, melaksanakan analisis HRM eksternal dan menemukan bahwa “penyempurnaan loop luar merupakan pendorong penting bagi kinerja HRM”.

• Selama inferensi, dengan hanya menambahkan satu loop penyempurnaan, akurasi HRM meningkat hampir dua kali lipat (dari 18,6% menjadi 35,5%). Kenaikan kinerja tambahan, meskipun hasilnya berkurang secara signifikan, didapati pada 8 loop (38,1%) dan 16 loop (39,0%). Bahkan untuk model transformer standar tanpa loop dalam (tetapi dengan arsitektur, ukuran model, dan pipeline pelatihan yang identik dengan HRM), penambahan loop penyempurnaan luar akan menghasilkan peningkatan kinerja yang serupa.

• Loop luar juga penting untuk pelatihan. Bahkan ketika jumlah loop penyempurnaan dipertahankan pada biaya inferensi, hanya menambahkan satu loop penyempurnaan dalam pelatihan dapat meningkatkan akurasi model dari 19% (tanpa penyempurnaan) menjadi 32% (dengan 1 penyempurnaan). Faktanya, percobaan lebih lanjut menunjukkan bahwa peningkatan loop penyempurnaan selama pelatihan akan berdampak yang jauh lebih besar dibandingkan peningkatan loop penyempurnaan selama inferensi. Tanpa loop penyempurnaan baik dalam pelatihan maupun inferensi, model mendapatkan skor 18,6%. Tanpa loop penyempurnaan selama inferensi dan 16 loop penyempurnaan selama pelatihan, model mendapatkan skor 34,9%.

Sebaliknya, loop dalam ditunjukkan untuk memberikan contoh yang relatif kecil terhadap model berukuran sama yang menggantikan modul-H dan modul-L dengan blok atensi dari model transformer standar. Tidak dapat dipastikan apakah temuan ini khusus untuk tugas dalam tolok ukur ARC-AGI atau universal untuk semua tugas penalaran yang mungkin ditangani HRM.

Meskipun model penalaran hierarkis (HRM) memperkenalkan inovasi yang bermakna pada arsitektur jaringan neural dan teknik pelatihan yang telah mulai memengaruhi riset pembelajaran mendalam, kegunaan praktis HRM itu sendiri saat ini masih belum jelas.

Dibandingkan dengan LLM penalaran yang sangat besar, HRM jauh lebih kecil, dengan biaya pelatihan dan biaya operasi lebih murah. HRM juga dapat dilatih menggunakan sejumlah contoh pelatihan yang sangat mudah diakses. Hal ini bertentangan dengan anggapan bahwa kinerja terdepan (frontier performance) hanya dapat dicapai melalui model dan kumpulan data pelatihan berjumlah besar yang berada di luar jangkauan mayoritas peneliti dan organisasi.

Namun, kegunaan model penalaran arus utama adalah kemampuannya yang luar biasa untuk menggeneralisasi: model ini dapat melakukan tugas penalaran yang sangat terspesialisasi dalam konteks memahami serta melaksanakan berbagai macam tugas dan instruksi bahasa alami. Kemampuan HRM yang sangat terbatas membuatnya lebih sulit untuk diintegrasikan ke dalam alur kerja yang lebih besar. 

HRM hanya dapat memecahkan jenis teka-teki yang sangat spesifik yang telah dipelajarinya selama pelatihan. Meskipun sebuah format teka-teki yang berbeda menggunakan aturan dan logika yang sangat mirip dengan yang telah dipelajarinya, HRM tidak dapat memecahkan teka-teki tersebut. Padahal, format kedua teka-teki tersebut begitu mirip sehingga manusia yang mampu memecahkan jenis teka-teki pertama juga akan dapat memecahkan jenis kedua. Peningkatan kualitas pipeline pelatihan yang memberikan kemampuan lebih besar untuk memanfaatkan pembelajaran transfer lintas tugas akan meningkatkan kepraktisan HRM secara signifikan.

HRM secara empiris menunjukkan kemampuan bernalar dalam mengatasi masalah untuk menyempurnakan outputnya, tetapi kurangnya “proses berpikir” yang dapat dilacak akan secara signifikan mengurangi interpretabilitas HRM. Meskipun demikian, perlu diingat bahwa interpretabilitas pada umumnya menjadi masalah di semua sistem AI yang dilatih melalui pembelajaran mendalam. Riset juga menunjukkan bahwa jejak penalaran yang diberikan LLM kepada pengguna tidak selalu sesuai dengan “proses berpikir” yang sebenarnya.