Pohon pemikiran (ToT) adalah kerangka kerja inovatif yang dirancang untuk meningkatkan kemampuan penalaran model bahasa besar(LLM). Pendekatan ini mensimulasikan strategi kognitif manusia untuk pemecahan masalah, yang memungkinkan LLM untuk mengeksplorasi berbagai solusi potensial dengan cara yang terstruktur, mirip dengan jalur percabangan pohon.[1]
ToT memandu LLM melalui serangkaian langkah penalaran, di mana setiap langkah dapat bercabang menjadi beberapa jalur, memungkinkan model untuk mundur atau mengeksplorasi strategi alternatif sesuai kebutuhan. Misalnya, memecahkan teka-teki sudoku dapat memandu model untuk mengeksplorasi penempatan angka yang berbeda dengan cara coba-coba. Kemudian model dapat mundur ketika suatu angka mengarah pada kontradiksi dan mencoba angka yang berbeda sampai teka-teki terpecahkan. Ini meniru pendekatan manusia untuk pemecahan masalah, di mana beberapa solusi dipertimbangkan dan dibuang jika diketahui salah.[1][3]
ToT adalah kerangka kerja canggih yang dirancang untuk meningkatkan kemampuan pemecahan masalah LLM dengan menyusun penalaran dalam cara yang serupa dengan proses kognitif manusia. Kerangka kerja ini terdiri dari empat komponen utama:
Kerangka kerja ToT secara eksplisit memecah masalah menjadi langkah-langkah yang lebih kecil dan mudah dikelola yang disebut pemikiran, yang disatukan untuk membentuk solusi. Setiap pemikiran harus berukuran tepat—tidak terlalu besar untuk ditangani atau terlalu kecil agar berguna. Sebagai contoh, jika Anda merencanakan sebuah perjalanan, sebuah pemikiran mungkin akan melibatkan penentuan tujuan perjalanan terlebih dahulu, kemudian memilih moda transportasi terbaik, dan akhirnya memilih tempat menginap. Dalam masalah matematika, pemikiran mungkin berupa satu persamaan garis lurus atau penjelasan konsep yang ringkas. Dengan cara ini, masalah dipecah menjadi beberapa langkah utama yang mudah ditangani dan dievaluasi secara terpisah. Penguraiannya tergantung pada sifat masalah yang memastikan bahwa semua pemikiran tersebut signifikan dan layak untuk dievaluasi.
Setelah mendefinisikan apa yang merupakan sebuah pikiran, langkah selanjutnya adalah menentukan bagaimana pemikiran ini dihasilkan. Kerangka kerja ini mengusulkan dua teknik utama.[4]
Setelah dihasilkan, pemikiran harus dievaluasi untuk membantu memastikan progres menuju solusi. Kerangka kerja ini menggunakan 2 strategi untuk tujuan ini:
Komponen terakhir melibatkan algoritma pencarian yang digunakan untuk menavigasi melalui ruang solusi. Kerangka kerja ini biasanya menggunakan 2 algoritma dasar:
Dengan mengintegrasikan komponen-komponen ini, kerangka kerja ToT meniru pemecahan masalah manusia dengan mempertimbangkan berbagai solusi secara sistematis dan membuang solusi yang dianggap tidak tepat.
Dinamika operasional kerangka kerja ToT melibatkan eksplorasi solusi yang mungkin dilakukan secara berulang dan terstruktur. Dimulai dengan prompt awal, model ini menghasilkan berbagai pemikiran atau jawaban, masing-masing mengarah ke pertanyaan atau ekspansi berikutnya. Cabang-cabang ini berkembang saat model mengeksplorasi jalur penalaran yang berbeda. Ini menggunakan pelacakan kemajuan dan menjelajahi seluruh ruang solusi ini melalui evaluasi mandiri yang didukung LLM yang membantu memastikan validitas setiap langkah. Jika garis penalaran tertentu mencapai kontradiksi atau jalan buntu, sistem dapat mundur ke simpul sebelumnya untuk mengeksplorasi kemungkinan alternatif.
Pendekatan terstruktur tetapi fleksibel ini memungkinkan LLM untuk menangani tugas-tugas penalaran multi-langkah yang kompleks dengan lebih efektif. Hal ini menyerupai kemampuan manusia untuk menavigasi melalui labirin pemikiran dan pilihan, menilai kembali dan menyesuaikan strategi sesuai kebutuhan.
Pada intinya, kerangka kerja ToT membekali LLM dengan kemampuan yang lebih mirip manusia dalam menalar dan memecahkan masalah, meningkatkan efektivitas mereka dalam tugas-tugas yang membutuhkan pemikiran dan pengambilan keputusan yang mendalam dan strategis.
Kerangka kerja pohon pemikiran (ToT) dan rantai pemikiran (CoT) berfungsi sebagai algoritma konseptual untuk memahami organisasi dan perkembangan pembuatan teks dalam model bahasa (LM) seperti transformer pra-latih generatif (misalnya, GPT-3 dan GPT-4). Teknik penulisan prompt ini merupakan bagian dari rekayasa prompt, yang melibatkan penyusunan input (prompt) untuk memandu LM secara efektif dalam menghasilkan hasil yang diinginkan.
Penulisan prompt pohon pemikiran: Kerangka kerja ini beroperasi berdasarkan kemampuan model untuk menghasilkan teks secara hierarkis, dengan topik atau ide utama yang mengarah ke subtopik dan detail yang bercabang. Pendekatan ini mencerminkan bagaimana sebuah model dapat memperluas prompt tertentu dengan menghasilkan teks yang makin spesifik dan terkait, mirip dengan struktur pohon. Pendekatan ini memungkinkan untuk strategi lookahead dan pencarian pohon, di mana model ini dapat menjelajahi beberapa cabang sebelum berkomitmen pada suatu jalur, sehingga cocok untuk pemecahan masalah umum dan skenario yang membutuhkan pengambilan keputusan yang kompleks. Metode ini menggabungkan penalaran akal sehat dan heuristik untuk mengevaluasi kualitas setiap cabang. Mekanisme konsistensi diri digunakan untuk memberikan evaluasi yang andal dengan memberikan prompt kepada model beberapa kali.
Penulisan prompting rantai pemikiran: Sebaliknya, konsep ini sesuai dengan kapasitas model untuk menghasilkan teks secara linier, dari kiri ke kanan, di mana setiap token berikutnya secara langsung dipengaruhi oleh token sebelumnya. Perkembangan berurutan ini mencerminkan pendekatan yang lebih sederhana dan lebih mudah untuk pembuatan teks. CoT efektif untuk tugas-tugas yang membutuhkan alur logis langkah demi langkah yang jelas. Pembelajaran dengan sedikit contoh, di mana model dilengkapi dengan beberapa contoh untuk dipelajari, dapat menyempurnakan metode ini dengan memberikan pemahaman kontekstual. CoT berfungsi sebagai teknik dasar dalam rekayasa prompt, menawarkan metode dasar yang lebih sederhana untuk diterapkan tetapi mungkin tidak memiliki kedalaman dan kompleksitas ToT.
Perbandingan dan aplikasi: Sementara prompt ToT mewakili pendekatan yang lebih rumit dan saling berhubungan untuk pembuatan teks, dengan menggunakan strategi pencarian pohon dan lookahead, CoT mencerminkan perkembangan yang lebih sederhana dan berurutan. Sifat hirarkis ToT membuatnya cocok untuk tugas-tugas yang membutuhkan eksplorasi terperinci dari berbagai solusi, seperti skenario pembelajaran penguatan, di mana pelacakan kembali dan strategi alternatif sangat penting. Namun, perkembangan linier CoT sangat ideal untuk tugas-tugas yang membutuhkan urutan pemikiran yang jelas dan logis.
Dalam aplikasi praktis, API untuk LMs, termasuk GPT-3 dan GPT-4, menggunakan teknik prompting seperti ToT dan CoT untuk meningkatkan kinerjanya dalam berbagai tugas, mulai dari penulisan kreatif hingga pemecahan masalah yang kompleks.[2] Rekayasa prompt terus berkembang, menyediakan peralatan yang andal untuk memanfaatkan kemampuan transformer yang canggih dalam model bahasa.
Buletin Think
Tetaplah menjadi yang terdepan dalam berita industri terbaru, alat AI, dan tren baru dalam rekayasa prompt dengan Buletin Think. Selain itu, dapatkan akses ke artikel penjelas, tutorial, dan insight pakar baru—dikirimkan langsung ke kotak masuk Anda. Lihat Pernyataan Privasi IBM.
Kerangka kerja ToT mewakili kemajuan signifikan dalam kemampuan LLM untuk pemecahan masalah yang kompleks. Namun, ada pengorbanan yang melibatkan kompleksitas tambahan yang melekat dalam implementasi kerangka kerja ini.
Kerangka kerja ini menawarkan manfaat untuk bidang kecerdasan buatan termasuk:
ToT secara signifikan meningkatkan kemampuan pemecahan masalah LLM dengan memungkinkan mereka mengeksplorasi berbagai jalur penalaran secara bersamaan. Hal ini mencerminkan proses kognitif manusia di mana beberapa solusi potensial dipertimbangkan dan yang paling layak dipilih. Misalnya, dalam tugas-tugas yang membutuhkan pemikiran atau perencanaan strategis, seperti memecahkan teka-teki kata atau membuat tulisan kreatif, ToT telah menunjukkan kinerja yang lebih unggul, dengan tingkat keberhasilan yang lebih tinggi dibandingkan dengan metode tradisional. Peningkatan kapasitas untuk penalaran yang kompleks dengan menguraikan langkah-langkah perantara ini sangat jelas terlihat dalam tugas-tugas yang menantang di mana keputusan awal sangat memengaruhi hasil.[4]
Pohon pemikiran yang tidak pasti (TouT), perluasan dari ToT, secara khusus membahas ketidakpastian yang melekat yang ada dalam proses pengambilan keputusan LLM. Dengan mengukur dan mengelola ketidakpastian ini, TouT memungkinkan hasil yang lebih akurat dan andal. Solusi ini menggunakan teknik seperti Monte Carlo Dropout. Teknik ini digunakan dalam machine learning, terutama dalam model pembelajaran mendalam, untuk memperkirakan ketidakpastian dalam prediksi. Ini melibatkan pelepasan neuron secara acak selama pelatihan dan inferensi, yang menciptakan beberapa "jalur" yang berbeda melalui jaringan. Dengan merata-ratakan prediksi dari jalur yang berbeda ini, model dapat memberikan perkiraan ketidakpastian yang lebih andal. Teknik ini sangat berharga dalam aplikasi di mana prediksi yang tepat dan dapat dipercaya sangat penting, seperti diagnosis medis atau forecasting keuangan.[5]
Seiring dengan manfaatnya, ada beberapa batasan yang melekat yang harus dipertimbangkan.
Kerangka kerja ToT melibatkan operasi yang kompleks seperti mempertahankan beberapa jalur keputusan, menelusuri kembali, dan mengeksplorasi solusi alternatif. Proses ini sangat intensif secara komputasi, dan sering kali memerlukan sumber daya yang signifikan dalam hal daya pemrosesan dan memori. Kebutuhan sumber daya dapat membatasi skalabilitas ToT, terutama di lingkungan dengan sumber daya komputasi yang terbatas atau dalam aplikasi real-time yang membutuhkan waktu respons cepat.
Menyiapkan sistem pohon pemikiran melibatkan pengintegrasian berbagai komponen seperti agen prompt, modul pemeriksa, modul memori, dan pengontrol pohon pemikiran.[1] Setiap komponen harus disetel dengan baik untuk bekerja secara harmonis, yang bisa menjadi proses yang kompleks dan memakan waktu. Selain itu, kemanjuran sistem sangat tergantung pada kualitas implementasinya. Konfigurasi yang buruk pada komponen apa pun dapat mengurangi keefektifan seluruh sistem, membuatnya kurang andal atau mengarah ke jalur pemecahan masalah yang salah.
Penelitian terbaru menimbulkan kekhawatiran tentang efisiensi prompting bergaya ToT. Studi ini menyoroti bahwa ToT dapat menyebabkan eksplorasi yang berlebihan terhadap jalur penalaran yang bernilai rendah, sehingga mengakibatkan biaya komputasi yang tidak perlu dan kinerja tugas yang lebih lambat. Tidak seperti strategi perencanaan yang lebih terarah, ToT tidak memiliki mekanisme untuk memprioritaskan cabang yang menjanjikan, yang dapat menghambat keefektifannya dalam tugas penalaran yang kompleks.[6]
Untuk mengatasi masalah ini, para peneliti mengusulkan pendekatan alternatif—Pemikiran Pencarian—yang menggabungkan heuristik perencanaan dan perolehan informasi untuk memandu proses penalaran secara lebih efisien. Temuan ini menunjukkan bahwa meskipun ToT tetap menjadi kerangka kerja konseptual yang tangguh, aplikasi praktisnya dapat memperoleh manfaat dari integrasi dengan strategi pencarian yang lebih efisien.[6]
Kerangka kerja ToT telah menunjukkan keampuhannya di berbagai aplikasi, yang menunjukkan ketangguhan dan kemampuan beradaptasi. Di sini, kami mengeksplorasi 4 studi kasus yang menarik di mana ToT telah meningkatkan kemampuan pemecahan masalah secara signifikan:
Aplikasi ToT dalam pemecahan teka-teki sudoku menunjukkan kapasitasnya untuk menavigasi tantangan logis yang kompleks. Dengan memandu model melalui berbagai penempatan angka dan memungkinkannya untuk mundur setelah menghadapi kontradiksi, ToT merampingkan jalan menuju solusi yang benar. Kemampuan untuk menilai kembali keputusan secara dinamis ini secara dramatis meningkatkan akurasi dan efisiensi pemecahan masalah, menyoroti keunggulan ToT dibandingkan pendekatan pemecahan masalah yang lebih statis.[1]
Dalam permainan aritmetika strategis Game of 24, ToT secara signifikan meningkatkan tingkat keberhasilan dengan memungkinkan model untuk menjelajahi beberapa jalur perhitungan. Proses penalaran adaptif ini memungkinkan model untuk memecahkan teka-teki dengan lebih kreatif dan efektif, menunjukkan kapasitas ToT untuk meningkatkan fleksibilitas kognitif dalam pemecahan masalah numerik.[4]
ToT juga telah diterapkan pada tugas-tugas penulisan kreatif, yang membantu LLM dalam menghasilkan narasi yang lebih koheren dan sesuai konteks. Dengan menyusun proses berpikir menjadi pohon yang bercabang, model dapat mengeksplorasi berbagai perkembangan plot atau pilihan gaya dan memilih atau merevisi berdasarkan hasil yang paling menjanjikan. Metode ini telah menghasilkan peningkatan kualitas dan orisinalitas teks yang dihasilkan oleh LLM, sehingga memberikan pendekatan yang lebih bernuansa terhadap penceritaan otomatis.[4]
Aplikasi ToT yang luar biasa lainnya adalah dalam memecahkan teka-teki silang mini 5x5. Kerangka kerja ini memungkinkan model untuk mempertimbangkan beberapa pilihan kata untuk setiap petunjuk teka-teki silang, mengevaluasinya tidak hanya secara terpisah, tetapi juga bagaimana mereka berinteraksi dengan kata-kata yang sudah dimasukkan. Pendekatan penilaian yang berulang dan menyeluruh ini membantu memastikan akurasi yang lebih tinggi dalam penyelesaian teka-teki dan menunjukkan kemampuan ToT untuk menerapkan penalaran logis dan kontekstual dalam tugas-tugas yang kompleks secara linguistik. Penggunaan ToT dalam konteks ini menyoroti keserbagunaan dan keefektifannya dalam tugas-tugas yang membutuhkan integrasi berbagai jenis pengetahuan dan strategi penalaran.[4]
Studi kasus ini menggambarkan beragam kemampuan kerangka kerja pohon pemikiran, mulai dari meningkatkan penalaran logis dan numerik hingga meningkatkan kreativitas dan pemahaman kontekstual dalam tugas-tugas berbasis bahasa. Setiap contoh menggarisbawahi potensi ToT untuk merevolusi pemecahan masalah lintas disiplin ilmu.
Kemajuan terbaru dalam penelitian ToT berfokus pada perluasan kemampuannya dan mengatasi tantangan yang ada dalam penerapannya. Perkembangan utama meliputi:
Diperkenalkannya pohon pemikiran yang tidak pasti (ToUT) menandai kemajuan signifikan dalam penelitian ToT. ToUT meningkatkan ToT dengan mengintegrasikan mekanisme kuantifikasi ketidakpastian yang menilai keandalan setiap jalur keputusan. Pengembangan ini sangat penting untuk aplikasi di mana keputusan harus dibuat dalam kondisi ketidakpastian dan di mana biaya kesalahan bisa menjadi tinggi.[5]
Penelitian lebih lanjut difokuskan pada peningkatan kemampuan pengambilan keputusan global LLM saat menggunakan ToT. Penelitian terkini telah memperkenalkan siklus masukan ke dalam kerangka kerja, sehingga model dapat belajar dari keputusan masa lalu dan menyesuaikan proses penalaran mereka secara real-time. Mekanisme masukan berulang ini membantu menyempurnakan proses pengambilan keputusan, menjadikannya lebih dinamis dan responsif terhadap konteks masalah yang terus berkembang. Peningkatan tersebut bertujuan untuk membawa kemampuan penalaran LLM lebih dekat dengan proses kognitif manusia, di mana pembelajaran dari pengalaman masa lalu memainkan peran penting dalam membentuk keputusan pada masa depan.[4]
Perkembangan terbaru ini menggarisbawahi upaya yang sedang berlangsung untuk menyempurnakan dan memperluas kerangka kerja pohon pemikiran, membantu memastikan penerapan dan keefektifannya dalam skenario pemecahan masalah yang makin kompleks. Kemajuan ini tidak hanya meningkatkan kemampuan LLM, tetapi juga membuka jalan baru untuk penelitian dan penerapan kecerdasan buatan.
[1] Long, J. (Mei 2023). Large Language Model Guided Tree-of-Thought.
[2] Karthik Narasimhan, S. Y. (Juli 2023). Official Repository of Tree of Thoughts (ToT). https://github.com/princeton-nlp/tree-of-thought-llm
[3] Pengfei Liu, W. Y. (2021). Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing. ACM Computing Surveys.
[4] Shunyu Yao, D. Y. (2023). Tree of Thoughts: Deliberate Problem Solving with Large Language Models. ArXiv, abs/2305.10601.
https://arxiv.org/abs/2305.10601
[5] 5 Shentong Mo, M. X. (September 2023). Tree of Uncertain Thoughts Reasoning for Large Language Models. ArXiv, abs/2309.07694. https://arxiv.org/abs/2309.07694
[6] Katz, M., Kokel, H., Srinivas, K., & Sohrabi, S. (2024). Thought of search: Planning with language models through the lens of efficiency. Dalam A. Globerson, L. Mackey, D. Belgrave, A. Fan, U. Paquet, J. Tomczak, & C. Zhang (Eds. ), Advances in Neural Information Processing Systems (Vol. 37, hal. 138491–138568).