Model difusi menantang GPT saat AI generasi berikutnya muncul

Kelas baru model AI menantang dominasi sistem gaya GPT, menjanjikan alternatif yang lebih cepat, lebih murah, dan berpotensi lebih kuat.

Inception Labs, sebuah startup yang didirikan oleh para peneliti dari Stanford, baru-baru ini merilis Mercury, model bahasa berbasis difusi (dLLM) yang menyempurnakan seluruh frasa sekaligus, daripada memprediksi kata-kata satu per satu. Tidak seperti model bahasa besar tradisional (LLM), yang menggunakan pendekatan autoregresif—menghasilkan satu kata pada satu waktu, berdasarkan teks sebelumnya—model difusi meningkatkan teks secara berulang, melalui penyempurnaan.

"dLLM memperluas batas kemungkinan," kata Stefano Ermon, seorang profesor ilmu komputer Universitas Stanford dan salah satu pendiri Inception Labs, kepada IBM® Think. “Mercury memberikan kecepatan dan efisiensi yang tak tertandingi, dan—dengan memanfaatkan lebih banyak komputasi waktu uji—DLLMS juga akan menetapkan standar untuk kualitas dan meningkatkan kepuasan pelanggan secara keseluruhan untuk aplikasi edge dan enterprise.”

Insinyur IBM® Research , Benjamin Hoover, melihat tulisan di dinding: "Hanya tinggal menunggu dua atau tiga tahun lagi sebelum kebanyakan orang mulai beralih menggunakan model difusi," katanya. “Ketika saya melihat model dari Inception Labs, saya menyadari, ‘Ini akan terjadi lebih cepat daripada yang saya bayangkan.’”

Model difusi tidak bermain dengan aturan yang sama dengan AI tradisional. Model autoregresif seperti GPT membangun kalimat kata demi kata, memprediksi satu token pada satu waktu. Jika sebuah model menghasilkan frasa “Kepada siapa itu mungkin menjadi perhatian,” ia memprediksi “Kepada,” lalu “siapa,” lalu “itu,” dan seterusnya—satu langkah pada satu waktu. Model difusi membalik skrip. Alih-alih menyatukan teks secara berurutan, model ini mulai dengan versi kasar dan berisik dari seluruh bagian dan menyempurnakannya dalam beberapa langkah. Pikirkanlah hal itu seperti seorang seniman yang membuat sketsa garis besar terlebih dahulu sebelum memperjelas detailnya, alih-alih menggambar setiap elemen secara berurutan. Dengan mempertimbangkan seluruh kalimat sekaligus, model difusi dapat menghasilkan respons lebih cepat, seringkali dengan lebih banyak koherensi dan akurasi daripada LLM tradisional.

Hoover melihat teknologi sebagai sentuhan modern pada konsep yang lebih tua. “Model difusi pada dasarnya adalah mekanisme koreksi kesalahan,” katanya. “Mereka bekerja dengan memulai dengan input yang bising, dan secara bertahap menghilangkan kebisingan sampai mereka sampai pada output yang diinginkan.”

Model difusi telah banyak digunakan dalam pembuatan gambar, dengan model seperti DALL · E, Stable Diffusion dan Midvoyage menyempurnakan gambar bising menjadi visual berkualitas tinggi. Namun, menerapkan pendekatan ini pada teks lebih sulit karena bahasa membutuhkan kepatuhan yang ketat terhadap tata bahasa dan sintaks.

“Banyak upaya untuk menerapkan model difusi pada pembuatan teks telah mengalami kesulitan di masa lalu”, kata Ermon. “Yang memungkinkan Merkurius berhasil ketika yang lain gagal adalah inovasi eksklusif dalam algoritma pelatihan dan inferensi”. Tidak seperti gambar, yang secara bertahap dapat dibersihkan menjadi bentuk yang dapat dikenali, bahasa mengikuti aturan tata bahasa yang kaku yang membuat penyempurnaan berulang lebih rumit.

Hoover menunjuk ke Merkurius Inception Labs sebagai contoh utama tentang bagaimana model difusi menutup celah. “Model itu membuktikan difusi dapat bertahan dan sebenarnya lebih cepat dan lebih efisien daripada model autoregresif yang sebanding”.

Efisiensi LLM berbasis difusi dapat mengguncang penerapan AI, terutama dalam penerapan di perusahaan di mana biaya dan kecepatan adalah hal penting. LLM tradisional membutuhkan daya komputasi yang besar, membuatnya mahal untuk dijalankan. Model difusi menjanjikan untuk memberikan kinerja yang serupa atau lebih baik dengan biaya yang lebih murah. Model difusi seringkali lebih efisien karena model tersebut menyempurnakan seluruh urutan secara paralel, bukan menghasilkan setiap kata langkah demi langkah seperti LLM tradisional, sehingga mengurangi overhead komputasi.

“Pelanggan kami dan pengadopsi awal mengembangkan aplikasi yang didukung oleh DLLM di berbagai bidang termasuk dukungan pelanggan, penjualan, dan permainan,” kata Ermon. “Mereka membuat aplikasi mereka lebih responsif, lebih cerdas, dan lebih murah.”

Hoover melihat dampak yang lebih luas. “Saat ini, AI dibatasi oleh konsumsi energi”, katanya. “Model besar menggunakan daya dalam jumlah besar. Namun, model difusi beroperasi secara berbeda, memungkinkan efisiensi yang jauh lebih besar. Dalam jangka panjang, kita bisa melihat sistem AI berbasis difusi berjalan pada perangkat keras analog, mengurangi biaya energi secara dramatis”.

Komputasi analog, yang memproses informasi menggunakan sinyal listrik kontinu dan bukan operasi biner, telah lama disebut-sebut sebagai solusi potensial untuk masalah energi AI. Hoover percaya model difusi sangat cocok untuk pendekatan ini.

“Model-model ini secara inheren dapat ditafsirkan,” katanya. "Itu berarti kami dapat memetakan komputasi internal mereka secara langsung ke sirkuit analog, sesuatu yang jauh lebih sulit dilakukan dengan arsitektur pembelajaran mendalam tradisional."