Apa itu model penalaran?

Dilatih untuk menggunakan penalaran rantai pemikiran yang canggih dan strategi pengambilan keputusan multilangkah lainnya, model penalaran mewakili keunggulan kinerja LLM, terutama dalam matematika, pengodean, dan domain lain yang didorong oleh penalaran logis. Awalnya diperkenalkan sebagai kategori model khusus yang berbeda, “model berpikir” ini terus berkembang lebih di mana-mana: saat ini, sebagian besar LLM modern menawarkan “mode berpikir” atau kemampuan penalaran dengan nama serupa.

Konsep “model penalaran” pertama kali diperkenalkan oleh o1-preview OpenAI (dan o1-mini) pada September 2024, diikuti oleh Alibaba “Qwen with Ques tions” (QWQ-32B-preview) pada bulan November dan Google Gemini 2.0 Flash Experiment pada bulan Desember. Tonggak sejarah dalam pengembangan LLM penalaran adalah rilis Januari 2025 dari model sumber terbuka Deepseek-R1. Sementara proses pelatihan yang digunakan untuk melakukan penyempurnaan pada model penalaran sebelumnya dijaga ketat sebagai rahasia, DeepSeek merilis makalah teknis yang terperinci dan memberikan cetak biru bagi pengembang model lain. IBM® Granite, Anthropic dan Mistral AI, antara lain, telah merilis LLM penalaran mereka sendiri.

Sederhananya, LLM penalaran dilatih untuk menggunakan lebih banyak waktu “berpikir” sebelum mereka merespons. Penambahan "proses penalaran" ini telah terbukti secara empiris menghasilkan kemajuan besar dalam kinerja LLM pada tugas-tugas penalaran yang kompleks. Keberhasilan ini telah memperluas contoh penggunaan dunia nyata dan domain tempat model AI dapat diterapkan, menandai titik infleksi penting dalam pengembangan berkelanjutan AI generatif dan agen AI.

Perlu dicatat, bagaimanapun, bahwa istilah antropomorfik seperti “proses berpikir” model lebih nyaman daripada literal. Seperti semua model machine learning, model penalaran pada akhirnya hanya menerapkan algoritma canggih untuk membuat prediksi—seperti kata apa yang harus muncul berikutnya—yang mencerminkan pola yang dipelajari dari data pelatihan. LLM penalaran belum menunjukkan kesadaran atau tanda-tanda lain dari kecerdasan umum buatan (AGI). Sebuah makalah riset Apple yang banyak dikutip dan dipresentasikan di NeurIPS 2025 menimbulkan keraguan tentang apakah kemampuan penalaran model saat ini dapat berkembang menjadi penalaran yang benar-benar ”dapat digeneralisasikan”.

Barangkali penjelasan yang paling tepat adalah bahwa LLM penalaran (reasoning LLM) dilatih untuk ”menunjukkan proses kerjanya” dengan menghasilkan rangkaian token (kata) yang menyerupai proses berpikir manusia—dan tindakan ”mengungkapkan penalaran” (verbalizing) ini tampaknya membuka kemampuan penalaran laten yang secara implisit dipelajari LLM dari korpus data pelatihannya yang sangat besar, yang mencakup berbagai contoh orang yang secara langsung maupun tidak langsung mengungkapkan proses berpikir mereka sendiri.

Menambahkan "proses berpikir" pada output model mengurangi banyak kelemahan yang melekat pada inferensi LLM standar dengan membantu model menghindari jalan pintas kognitif yang berbahaya dan memunculkan lebih banyak pengetahuan yang berpotensi relevan yang dipelajari dari data pelatihan.

Dalam konteks penalaran LLM, literatur riset AI sering merujuk pada pemikiran “Sistem 1" dan “Sistem 2", istilah yang diciptakan oleh ekonom perilaku pemenang Hadiah Nobel Daniel Kahneman dalam karyanya Thinking, Fast and Slow.Pemikiran Sistem 1 berlangsung cepat, tidak disadari, dan intuitif. Cara berpikir ini mengandalkan heuristik serta membutuhkan sedikit atau bahkan tanpa upaya sadar. Pemikiran Sistem 2 berlangsung lambat, disengaja dan logis, membutuhkan upaya bersama. Riset secara konsisten menunjukkan bahwa model pembelajaran autoregresif (autoregressive LLM) pada dasarnya cenderung pada pemikiran Sistem 1.

Untuk beberapa tugas, pemikiran Sistem 1 efektif dan efisien secara komputasi. Tetapi bagi banyak orang lain, pemikiran impulsif Sistem 1 gagal. Sebagai contoh, sebuah makalah tahun 2023 dari peneliti Meta Jason Weston dan Sainbayar Sukhbaatar mencatat bagaimana LLM mudah terpengaruh oleh adanya konteks yang tidak relevan atau detail subjektif dalam input prompt.

Mereka mengusulkan rangkaian teknik yang mereka sebut “Perhatian Sistem 2” (S2A), di mana model diinstruksikan untuk terlebih dahulu menghasilkan versi tulisan ulang dari prompt input yang diambil dari konteks yang tidak relevan, kemudian menjawab prompt yang ditulis ulang itu. Dalam eksperimen, S2A mengungguli inferensi standar pada berbagai tugas, meningkatkan akurasi dan mengurangi tendensi "menjilat" (sycophancy).

Secara konseptual, tujuan implisit dari pendekatan penalaran dapat dipahami sebagai penerapan perilaku model seperti Sistem 2 yang menjelajahi, mengevaluasi, dan menyempurnakan outputnya.

Landasan untuk “model berpikir” modern ditetapkan oleh makalah riset LLM awal: satu ditulis oleh Google riset pada tahun 2021 dan satu lagi ditulis oleh peneliti Universitas Tokyo pada tahun 2022. Keduanya menunjukkan bahwa hanya menambahkan frasa “berpikir langkah demi langkah“—teknik yang disebut pembuatan prompt rantai pemikiran—secara signifikan meningkatkan output model. Sebuah makalah tahun 2024 dari Google DeepMind membuat pernyataan yang lebih luas dengan mengusulkan undang-undang penskalaan baru: memperluas komputasi waktu uji (sumber daya yang digunakan untuk menghasilkan output) meningkatkan kinerja model sama seperti memperluas komputasi melatih-waktu (sumber daya yang digunakan untuk melatih sebuah model). Prompting CoT hanyalah 1 dari banyak teknik penskalaan inferensi (juga disebut penskalaan waktu uji), seperti halnya S2A.

LLM penalaran modern melangkah lebih jauh: daripada mengandalkan rekayasa prompt, mereka menggunakan teknik penyempurnaan baru dan alur kerja yang canggih untuk secara intrinsik meningkatkan jumlah komputasi yang digunakan model pada waktu inferensi. Optimalisasi model penalaran memerlukan tantangan teknis dalam mengembangkan algoritma dan data pelatihan dan tantangan filosofis merancang “proses berpikir” yang ideal.

Tahap awal pelatihan LLM penalaran mencerminkan LLM konvensional. Seperti LLM standar, model penalaran mendapatkan fasilitas linguistik umum dan pengetahuan dunia mereka dari pra-pelatihan mandiri skala besar, diikuti oleh sejumlah penyempurnaan yang diawasi (SFT) untuk menyesuaikannya dengan tugas-tugas hilir (seperti penggunaan chatbot percakapan). Inovasi utamanya adalah pengaplikasian teknik pembelajaran penguatan (RL) baru yang mendorong model untuk menghasilkan “langkah penalaran” perantara pada waktu inferensi sebelum menghasilkan output akhir.

Penelitian dan eksperimen selama bertahun-tahun telah menghasilkan beragam pendekatan penalaran yang berkembang secara eksponensial, tetapi semuanya memiliki tujuan mendasar yang sama, yaitu meningkatkan komputasi waktu pengujian. Selain LLM dasar (atau yang disetel sesuai instruksi) yang berfungsi sebagai fondasinya, model penalaran dibedakan oleh strategi pengambilan keputusan spesifik yang dilatihkan untuk diterapkan dan algoritma khusus yang digunakan untuk mendorong perilaku itu.

Secara garis besar, ada 2 metode utama untuk meningkatkan komputasi yang digunakan pada waktu inferensi. Tujuan dari penyempurnaan model penalaran adalah melatihnya untuk menggunakan salah satu (atau kedua) pendekatan yang luas ini melalui berbagai algoritma pembelajaran.

• Menghasilkan output lebih panjang: Model ini belajar untuk menghasilkan output yang lebih panjang melalui strategi yang mencakup rantai pemikiran yang panjang, penelusuran balik, dan penyempurnaan mandiri.
  
  
• Menghasilkan beberapa output: Alih-alih menghasilkan satu output sebagai respons terhadap prompt, model menghasilkan beberapa iterasi output dan mencapai jawaban akhirnya melalui proses pencarian, penolakan, dan agregasi output potensial.  

Sifat dari paradigma pembelajaran yang menghasilkan model penalaran biasanya memerlukan pelatihan dan evaluasi pada masalah yang solusinya dapat diverifikasi, seperti tugas pengodean atau masalah matematika. Metrik tolok ukur yang digunakan untuk mengevaluasi kinerja model penalaran oleh karena itu biasanya berfokus pada domain tersebut. Masih sedikit penelitian yang dilakukan mengenai dampak penalaran dalam domain yang lebih subjektif, seperti penulisan kreatif.

Inti dari kemunculan LLM penalaran adalah kemajuan penyempurnaan berbasis RL, yang terdiri dari RL berbasis aturan dan RL berdasarkan pembelajaran mendalam ("deep RL") dalam konteks LLM. Sementara pembelajaran yang diawasi dan pembelajaran mandiri membutuhkan tugas pelatihan statis yang terdefinisi dengan baik, RL sangat cocok untuk jenis tugas yang dinamis, terbuka, dan kompleks di mana penalaran multi-langkah sangat berguna.

Penggunaan RL untuk penyempurnaan LLM dengan cara yang memberikan kualitas abstrak tidak hanya dilakukan untuk model penalaran. Misalnya, jalur pelatihan standar untuk LLM yang akan digunakan dalam pengaturan chatbot adalah sebagai berikut:

1. Prapelatihan yang diawasi mandiri, di mana model mempelajari pola linguistik dan pengetahuan dasar untuk diterapkan pada tugas-tugas hilir.
   
   
2. Penyempurnaan yang diawasi (SFT), di mana model mempelajari cara memformat responsnya dengan benar terhadap input pengguna.
   
   
3. Penyetelan instruksi, di mana model belajar cara mengikuti instruksi dan melakukan tugas-tugas tertentu.
   
   
4. Pembelajaran penguatan dari umpan balik manusia (RLHF), di mana model ini disempurnakan sesuai dengan data preferensi manusia untuk menanamkan kualitas subjektif seperti sifat suka menolong, tidak berbahaya, kejujuran, dan nada yang ideal.

LLM Penalaran biasanya menjalani tahap pelatihan yang sama, dengan tambahan (pada titik tertentu) tahap pembelajaran penguatan yang menanamkan proses penalaran berbasis CoT yang produktif. Hal ini dicapai dengan mendefinisikan tujuan dari proses penalaran ini—perilaku model tertentu yang akan "diberi reward", seperti menghasilkan jejak penalaran CoT sebelum output akhir—dan kemudian mengoptimalkan bobot model dengan cara yang memaksimalkan penghargaan.

Karena sulit atau bahkan tidak mungkin untuk merancang fungsi penghargaan eksplisit untuk tugas seabstrak dan serumit proses penalaran yang akan efektif untuk semua pemecahan masalah yang kompleks, sinyal reward ini sering kali berasal dari model reward terpisah yang digunakan selama pelatihan.Dalam RLHF, model reward ini dilatih berdasarkan masukan dari manusia dan belajar untuk memprediksi skor numerik untuk seberapa besar manusia lebih menyukai respons yang diberikan.

Dalam konteks RL untuk model penalaran, sinyal reward dapat dibagi menjadi 3 kategori: model reward hasil (ORM), model reward proses (PRM), dan sistem reward berbasis aturan.

Model imbalan hasil (ORM), sesuai dengan namanya, memverifikasi keakuratan output akhir dari model penalaran, lalu memberikan sinyal reward yang digunakan untuk mengoptimalkan bobot model. Ini secara dangkal mirip dengan peran fungsi kehilangan dalam pembelajaran yang diawasi, meskipun mekanismenya seringkali lebih kompleks.

Sementara fungsi kerugian biasanya mengukur perbedaan token per token antara output model dan kebenaran dasar, ORM yang efektif harus dapat mengenali jawaban yang benar untuk masalah matematika meskipun disajikan sangat berbeda dari jawaban kebenaran dasar yang tersedia, yang sering kali terjadi karena variabilitas yang tinggi dari output CoT yang panjang. Demikian juga, sebagian besar masalah pengodean dunia nyata memiliki beberapa solusi: mengevaluasi output kode secara holistik biasanya memerlukan pipeline data yang secara efisien mengeksekusi dan memverifikasi efikasi cuplikan kode. Kualitas output lainnya, seperti apakah output mengikuti format atau instruksi yang ditentukan, dapat menggunakan LLM standar sebagai verifikator.

Meskipun merupakan solusi yang relatif sederhana dan efisien secara komputasi, ORM berpotensi memberi imbalan pada situasi di mana langkah penalaran yang salah tetap mengarah pada jawaban akhir yang benar, sehingga model tersebut mempelajari proses penalaran yang kurang optimal.

Model imbalan proses (PRM) memberi skor dan menghargai (atau menghukum) setiap langkah penalaran individu secara terpisah, daripada hanya berfokus pada keakuratan jawaban akhir. Model ini memberikan sinyal imbalan yang lebih halus dan penyesuaian model selanjutnya, menghasilkan model dengan proses penalaran yang lebih kuat dan dapat ditafsirkan.

PRM, bagaimanapun, lebih mahal dan memakan waktu untuk dilatih dan diterapkan. Pendekatan awal yang berpengaruh terhadap PRM, seperti kumpulan data PRM800K OpenAI, hampir sepenuhnya bergantung pada pelabelan data yang rumit dari annotator manusia. Banyak pendekatan selanjutnya, seperti Math-Shepherd yang berpengaruh, telah mengotomatiskan proses ini dengan menyimpulkan validitas langkah penalaran berdasarkan seberapa sering itu membuahkan hasil jawaban yang benar.

Untuk menghindari biaya dan kerumitan model reward, beberapa pendekatan penyempurnaan berbasis RL mendesain tugas pelatihan dengan cara yang menyederhanakan tindakan mengevaluasi output.

Misalnya, teknik DeepSeek-R1 dan R1-Zero prompt model untuk memformat jawaban akhir mereka dalam kotak terpisah, memungkinkan akurasi diverifikasi tanpa model hadiah khusus yang harus mengurai seluruh respons. Sistem penghargaan berbasis aturan lainnya memberi insentif pada tindakan mikro tertentu, seperti menambahkan “tunggu” secara berkala ke respons model untuk mendorong lebih banyak eksplorasi dan koreksi diri. Penggunaan tindakan mikro tersebut telah terbukti meningkatkan output dan, yang sama pentingnya, mudah dan murah untuk memverifikasi.

Teknik penyempurnaan penguatan yang sederhana, ilustratif, dan sangat berpengaruh dipelopori oleh DeepSeek dalam pelatihan model penalaran eksperimental R1-Zero sumber terbuka mereka.

Dengan menggunakan DeepSeek-V3 sebagai basis, DeepSeek langsung beralih dari prapelatihan ke skema pembelajaran penguatan berbasis aturan yang sangat sederhana:

• Kueri model: Ajukan pertanyaan kepada model. Prompt agar memperoleh output proses pemikiran antara “<think> ” dan “</think> ” token, dan output jawaban akhirnya di antara “<answer> ” dan “</answer> ” token.
  
  
• Imbalan akurasi: Memberi imbalan kepada model atas kualitas jawaban akhirnya, seperti seberapa baik kode yang dibuatnya berjalan.
  
  
• Format imbalan: Beri imbalan model karena menggunakan “<think> </think> dengan benar ” dan “<answer> </answer> ” format dalam respons.

Anehnya, tanpa instruksi eksplisit untuk melakukannya, Deepseek-R1-Zero belajar untuk menghasilkan rantai pemikiran yang kompleks dan menggunakan strategi penalaran yang menghasilkan kinerja yang mengesankan pada tugas matematika dan penalaran. Dengan kata lain, hanya diberi mandat untuk “berpikir” sebelum mengeluarkan jawaban akhir dan memaksimalkan keakuratan jawaban akhir, model secara alami menjelajahi dan “menemukan” pola penalaran optimal.

Dari sudut praktik, pendekatan yang dilucuti ini memiliki kelemahan penting: seperti yang dijelaskan dalam makalah teknis, "DeepSeek-R1-Zero menghadapi tantangan seperti pengulangan yang tak ada habisnya, keterbacaan yang buruk, dan pencampuran bahasa." Namun demikian, pendekatan RL murni ini berfungsi sebagai dasar bagi metodologi yang lebih disempurnakan yang menghasilkan model Deepseek-R1 yang luar biasa populer.

Sementara sebagian besar paradigma RL berbasis CoT bertujuan untuk mengoptimalkan efikasi satu output model, metode lain menghasilkan beberapa output akhir atau perantara dengan tujuan untuk mengidentifikasi dan mendorong langkah-langkah penalaran terbaik.

Banyak pendekatan semacam itu bergantung pada algoritma pengoptimalan berbasis pencarian, seperti pencarian sinar, pohon pemikiran atau pencarian pohon Monte Carlo (MCTS), untuk menghasilkan dan menjelajahi beberapa jalur penalaran. Model penghargaan proses (PRM) mengevaluasi kualitas dan keberhasilan setiap langkah penalaran individu, dan hadiah kemudian secara berulang disebarkan kembali melalui jalur penalaran yang mengarah pada hasil yang diinginkan. Mengoptimalkan bobot model untuk memaksimalkan imbalan yang diharapkan meningkatkan kemungkinan model mengejar jalur penalaran yang paling produktif. Ini sangat berguna untuk tugas penalaran dengan berbagai keputusan potensial yang sangat besar atau yang memerlukan perencanaan jangka panjang yang ekstensif untuk memiliki kesempatan untuk mencapai jawaban akhir yang akurat.

Sementara algoritma berbasis pencarian secara inheren berfokus pada langkah-langkah menengah, pendekatan pengambilan sampel memprioritaskan hasil akhir. Implementasi paling dasar dari penskalaan inferensi berbasis sampel adalah algoritma best-of-N sederhana: berikan prompt input yang sama ke model N kali, gunakan model hadiah hasil (ORM) untuk menilai setiap hasil dan pilih hasil yang ORM memberikan skor tertinggi sebagai jawaban akhir model.

Salah satu algoritma berbasis sampel klasik, konsistensi diri (juga disebut pemungutan suara mayoritas), tidak memerlukan ORM. Setiap tugas dimulai dengan dorongan rantai pemikiran. Beberapa respons, masing-masing dengan jalur penalarannya sendiri, diambil sampelnya dari decoder model. Jawaban akhir yang muncul paling konsisten di antara output sampel ditentukan sebagai jawaban optimal. Ini dapat digunakan baik sebagai strategi penskalaan waktu uji untuk meminimalkan keacakan dan halusinasi atau sebagai sarana untuk menghasilkan data penalaran berkualitas tinggi untuk metode berbasis SFT.

Kelemahan utama metode berbasis pencarian dan pengambilan sampel untuk model penalaran adalah meningkatnya latensi—yaitu waktu respons yang lebih lama—serta tambahan overhead komputasi yang ditimbulkannya. Namun, riset dari Carnegie Mellon University menyatakan bahwa model lebih kecil yang menggunakan algoritma inferensi berbasis pencarian atau sampel dapat menawarkan pertukaran kinerja yang unggul untuk model yang lebih besar yang digunakan secara konvensional.

Di antara cara yang paling mudah secara konseptual untuk penyempurnaan penalaran model adalah dengan hanya menggunakan pembelajaran yang diawasi menggunakan kumpulan data yang terdiri dari prompt input yang menantang dan output berbasis CoT yang sesuai.

Meskipun menggunakan metode konvensional untuk menyusun kumpulan data pelatihan “dengan tangan” melalui contoh yang ditulis manusia sangat membutuhkan waktu dan tenaga, proliferasi model penalaran dan teknik penskalaan inferensi telah membuatnya secara signifikan lebih mudah untuk menghasilkan data pelatihan sintetis yang sesuai.  Riset yang dilakukan oleh Universitas Stanford dan Allen Institute for AI menemukan bahwa setelah menyempurnakan mode Qwen2.5-32B-Instruct pada kumpulan data yang dikuratori hanya 1.000 pasangan pertanyaan dan jejak penalaran, model “s1” mereka mengalahkan pratinjau o1 OpenAI pada masalah matematika kompetisi.

Distilasi pengetahuan juga dapat digunakan untuk mengajarkan model yang lebih kecil untuk meniru proses pemikiran model penalaran yang lebih besar dengan menyempurnakannya melalui SFT langsung pada output yang dihasilkan oleh model “guru” yang lebih besar. DeepSeek menggunakan distilasi pengetahuan, dengan Deepseek-R1 sebagai guru, untuk membuat versi penyetelan alasan dari berbagai ukuran model Qwen dan Llama.

Metode lain bertujuan untuk mem-bootstrap kumpulan data prompt dan output CoT panjang yang sesuai melalui proses model “perbaikan diri.” Self-Taught Reasoner (STaR) menyediakan contoh few-shot berupa alur penalaran yang efektif, kemudian meminta model menghasilkan jawaban beserta penalarannya untuk jumlah pertanyaan contoh yang lebih banyak. Model kemudian disesuaikan dengan alasan yang pada akhirnya menghasilkan jawaban yang benar, setelah itu proses diulang secara berulang. Reinforced Self-Training (ReST) menerapkan pendekatan konseptual serupa untuk penyempurnaan sinyal hadiah (atau “kebijakan”) yang digunakan untuk penyempurnaan penguatan. Keduanya telah menghasilkan sejumlah metodologi turunan.

Terlepas dari banyak kekuatan dan manfaatnya, LLM penalaran bukannya tanpa kekurangan.

Model penalaran—terutama yang memiliki parameter yang relatif sedikit—cenderung berpikir berlebihan. Sebuah studi dari Tencent menemukan bahwa model penalaran mengonsumsi rata-rata 1.953% lebih banyak token daripada model konvensional untuk mencapai jawaban yang sama. Studi lain[x], yang dilakukan oleh beberapa riset di berbagai universitas, menemukan bahwa dalam lingkungan agen, model penalaran cenderung terlibat dalam penalaran melingkar yang panjang alih-alih berinteraksi dengan alat eksternal dan sumber informasi.

Riset publik riset yang diterbitkan oleh Anthropic pada Juli 2025 menegaskan bahwa pemikiran berlebihan seperti itu bukan semata-mata masalah efisiensi: makalah mereka, “Inverse Scaling in Test-Time Compute,” mengeksplorasi “kasus di mana penalaran yang lebih lama memperburuk kinerja, menunjukkan hubungan terbalik antara komputasi waktu uji dan akurasi.” Meskipun telah ditunjukkan secara empiris bahwa peningkatan komputasi waktu uji sering dapat meningkatkan kinerja model, riset mereka menunjukkan beberapa skenario dalam menghasilkan lebih banyak token penalaran sebelum output akhir memperkuat kelemahan model dan masalah penyelarasan. Metode ini menantang “asumsi bahwa lebih banyak penalaran secara universal meningkatkan output model.”

Riset terkait dari Apple, yang disebutkan sebelumnya dalam artikel ini, menunjukkan serangkaian tugas dengan kompleksitas rendah di mana model standar mengungguli model penalaran, serta tugas kompleksitas tinggi di mana kedua jenis model gagal langsung. Dalam eksplorasi Apple, model penalaran “gagal mengembangkan kemampuan pemecahan masalah yang dapat digeneralisasi untuk tugas perencanaan, dengan kinerja runtuh menjadi nol di luar ambang kompleksitas tertentu.”

Meskipun penyempurnaan penalaran umumnya menghasilkan peningkatan besar pada tugas kompleks di bidang logis seperti matematika dan pengodean, hal ini juga dapat menyebabkan penurunan kinerja di tempat lain. Misalnya, dibandingkan dengan rekan-rekan aslinya, versi Llama 3.1 dan Qwen2.5 yang disempurnakan melalui distilasi pengetahuan di Deepseek-R1 menunjukkan regresi yang signifikan pada ArenaHard dan Alpaca-Eval-2, tolok ukur populer yang mengukur kemampuan model untuk memikirkan cara mereka melalui instruksi yang sulit. Karena itu, teknik penalaran yang lebih ditargetkan secara luas, seperti optimasi preferensi pemikiran (TPO) yang digunakan untuk penyempurnaan IBM® Granite 3.2, secara signifikan meningkatkan pengikut instruksi (meskipun tanpa dampak yang berarti pada kinerja matematika atau pengodean).

Pengguna harus membayar (dan menunggu) untuk semua token yang dihasilkan model sambil “berpikir,” dan token untuk berpikir itu menghabiskan jendela konteks yang tersedia. Beberapa contoh penggunaan sepadan dengan waktu dan komputasi tambahan itu, tetapi untuk contoh penggunaan yang lain hal itu adalah pemborosan sumber daya. Namun, terus-menerus beralih dari model penalaran ke model "standar" untuk setiap tugas dan prompt yang berbeda biasanya tidak praktis.

Sejak model penalaran paling awal dirilis, industri AI sebagian besar telah merangkul “model penalaran hybrid” yang penalaran atau pemikirannya “upaya”—dengan kata lain, jumlah token penalaran yang mereka hasilkan sebelum output akhir—dapat disesuaikan.

Pada Februari 2025, IBM® Granite 3.2 menjadi LLM pertama yang menawarkan mode “berpikir” yang dapat dialihkan, memungkinkan pengguna untuk memanfaatkan penalaran saat mereka membutuhkannya dan memprioritaskan efisiensi ketika mereka tidak membutuhkannya.16 Claude 3.7 Soneta dari Anthropic menyusul di bulan yang sama, menambahkan kemampuan bagi pengguna API untuk memiliki kontrol yang baik atas berapa lama model ”berpikir.” Google kemudian memperkenalkan kemampuan serupa untuk menyesuaikan “anggaran berpikir” model Gemini, dan OpenAI segera memungkinkan “upaya penalaran” dari model penalaran o1 dan o3-nya diatur ke “rendah,” “sedang” atau “tinggi.” 

Sejak saat itu, pendekatan ini pada dasarnya telah menjadi standar. Meskipun beberapa keluarga model bahasa penting masih dirilis dengan varian penalaran dan non-penalaran yang berbeda, sebagian besar penyedia hanya merilis model yang mampu penalaran dan upaya penalaran yang dapat dinonaktifkan oleh pengguna.

Seolah-olah, mengungkapkan rantai pemikiran model kepada pengguna membantu memberikan pemahaman tentang bagaimana LLM sampai pada jawaban akhirnya, memberikan interpretabilitas yang lebih besar daripada biasanya dengan model standar. Namun, riset dari Anthropic menunjukkan bahwa model penalaran tidak selalu mengungkapkan proses penalaran yang sebenarnya. Di serangkaian tugas yang dirancang khusus, para peneliti menemukan bahwa Claude 3.7 Sonnet dan Deepseek-R1 tidak dengan setia menjelaskan alasan mereka: misalnya, ketika diberikan petunjuk tentang jawaban yang benar, tanggapan mereka jarang menyebutkan petunjuk itu ketika menggambarkan dugaan alasan mereka.