GGUF versus GGML

Format Terpadu yang dihasilkan GPT (GGUF) adalah format file yang merampingkan penggunaan dan penerapan model bahasa besar (LLM). GGUF dirancang khusus untuk menyimpan model inferensi dan berkinerja baik pada perangkat keras komputer tingkat konsumen.

Hal ini dicapai dengan menggabungkan parameter model (bobot dan bias) dengan metadata tambahan untuk eksekusi yang efisien. GGUF jelas, dapat diperluas, serbaguna dan mampu memasukkan informasi baru tanpa merusak kompatibilitas dengan model lama. GGUF adalah pengembangan yang lebih baru yang dibangun di atas fondasi yang diletakkan oleh format file pendahulunya, GGML.

GGUF adalah format biner yang dirancang khusus untuk memuat dan menyimpan model dengan cepat. Karena kompatibel dengan berbagai bahasa pemrograman seperti Python dan R, GGUF telah menambah popularitas format ini. Ia juga mendukung penyempurnaan, sehingga pengguna dapat mengadaptasi LLM ke aplikasi khusus dan menyimpan templat perintah untuk penerapan model di seluruh aplikasi. Meskipun GGML masih digunakan, dukungannya telah digantikan oleh GGUF.

GGML adalah format file yang digunakan sebelum GGUF, dibuat oleh pengembang Georgi Gerganov. Nama ini merupakan kombinasi dari inisial Gerganov (GG) dan ML untuk machine learning. GGML adalah perpustakaan tensor yang dirancang untuk kinerja tinggi pada berbagai platform perangkat keras. GGML juga merupakan upaya awal untuk membuat format file untuk model kecerdasan buatan GPT OpenAI untuk memfasilitasi proses berbagi dan menjalankan model dengan mudah. GGML dirancang agar tidak ambigu dan berisi semua informasi yang diperlukan untuk memuat model.

GGML adalah upaya awal untuk membuat model bahasa besar dapat diakses pada perangkat keras standar. Namun demikian, kamera ini terbatas dari segi fleksibilitas dan ekstensibilitas. Ini berarti bahwa GGML memerlukan penyesuaian manual dan menghadapi masalah kompatibilitas saat pengguna menambahkan fitur baru untuk mengatasi keterbatasannya.

GGUF mengatasi batasan GGML dan memungkinkan penambahan fitur baru sambil mempertahankan kompatibilitas dengan model lama. Karena GGUF meniadakan perubahan yang mengganggu, maka GGUF memudahkan transisi ke versi yang lebih baru dan mendukung beragam model, sehingga menjadikannya sebagai solusi yang komprehensif. Mengonversi model yang ada ke GGUF mungkin memakan waktu dan seperti halnya semua format baru, pengguna dan pengembang harus terbiasa dengan spesifikasinya.

Huggingface adalah sebuah perusahaan dan platform berbasis komunitas yang menyediakan alat dan model untuk pemrosesan bahasa alami ( NLP). Mereka menawarkan Perpustakaan Transformers, yang mencakup banyak model yang sudah dilatih sebelumnya dan dapat dikonversi ke format file GGUF. Huggingface juga mendukung penyempurnaan dan penerapan, menjadikannya integral dengan ekosistem di sekitar GGUF.

Transformer adalah jenis arsitektur model yang telah menjadi tulang punggung NLP modern. GGUF mendukung penyimpanan dan penerapan model berbasis transformator untuk aplikasi yang mengandalkan arsitektur canggih ini.

GGUF menyediakan format yang kuat, fleksibel dan efisien untuk model bahasa. Ini mengatasi keterbatasan format sebelumnya, memastikan kompatibilitas dengan teknologi dan teknik yang berkembang. Fleksibilitasnya yang ditingkatkan, kinerja yang lebih baik, dan dukungan untuk kuantisasi dan kerangka kerja penerapan yang canggih menjadikannya alat penting untuk masa depan AI dan machine learning.

Bobot model adalah parameter yang dipelajari oleh model machine learning selama pelatihan. GGUF menyimpan bobot ini secara efisien, memungkinkan pemuatan dan inferensi yang cepat. Metode kuantisasi yang diterapkan pada bobot model dapat lebih meningkatkan kinerja dan mengurangi konsumsi sumber daya.

Kuantisasi, proses mengubah sinyal kontinu ke dalam format digital dengan nilai yang lebih sedikit, memainkan peran penting dalam GGUF. Kuantisasi meningkatkan efisiensi dan kinerja, terutama untuk perangkat keras dengan sumber daya terbatas. Dengan mengurangi ukuran model dan meningkatkan kecepatan inferensi, model yang dikuantisasi membutuhkan daya komputasi yang lebih sedikit, sehingga mengurangi konsumsi energi. Hal ini membuat GGUF sangat cocok untuk digunakan pada perangkat edge dan platform mobile yang memiliki sumber daya terbatas.

Sebagai contoh, salah satu teknik kuantisasi khusus yang digunakan adalah GPTQ (Kuantisasi Pasca-Pelatihan yang Akurat untuk Transformer Pra-Pelatihan Generatif). GPTQ mengurangi ukuran dan kebutuhan komputasi LLM dengan mengubah data kompleksnya menjadi format yang lebih sederhana. Hal ini memungkinkan untuk menerapkan LLM pada perangkat dengan memori dan daya pemrosesan yang lebih sedikit.

GGUF juga dirancang untuk menggabungkan fitur-fitur baru tanpa mengurangi kompatibilitas dengan versi sebelumnya. Kemampuan ini memungkinkan penambahan tipe data dan metadata baru, yang membuat GGUF siap menghadapi masa depan. Seiring berkembangnya model machine learning, GGUF dapat mengakomodasi perubahan ini, melindungi relevansi dan kemampuan beradaptasi jangka panjang.

Desain format biner GGUF secara signifikan meningkatkan kecepatan pemuatan dan penyimpanan model, yang sangat penting untuk aplikasi yang memerlukan penerapan dan inferensi yang cepat. Layanan konversi bahasa secara real-time dan sistem AI interaktif, misalnya, mendapat manfaat dari penanganan file model GGUF yang efisien. Semakin cepat model dapat dimuat dan digunakan, semakin baik pengalaman pengguna dalam aplikasi yang sensitif terhadap waktu ini.

GGUF menonjol karena kompatibilitasnya dengan teknik penyetelan canggih seperti adaptasi peringkat rendah (LoRA), adaptasi peringkat rendah terkuantisasi (QLoRA) dan kuantisasi berat adaptif (AWQ). Teknik ini lebih mengoptimalkan kinerja model dan pemanfaatan sumber daya.

Selain itu, GGUF mendukung berbagai level kuant, memberikan fleksibilitas dalam menyeimbangkan akurasi dan efisiensi model. Skema kuantisasi umum yang didukung oleh GGUF meliputi:

• Kuantisasi 2-bit: Menawarkan kompresi tertinggi, secara signifikan mengurangi ukuran model dan kecepatan inferensi, meskipun dengan dampak potensial pada akurasi.
• Kuantisasi 4-bit: Menyeimbangkan kompresi dan akurasi, sehingga cocok untuk banyak penerapan praktis.
• Kuantisasi 8-bit: Memberikan akurasi yang baik dengan kompresi sedang, banyak digunakan dalam berbagai penerapan.

Kuant merujuk pada berbagai tingkat kuantisasi yang diterapkan pada bobot model, seperti kuantisasi 2-bit, 4-bit, atau 8-bit.

Model GGUF juga menggunakan Arsitektur Perangkat Komputasi Terpadu (CUDA), platform komputasi paralel dan antarmuka pemrograman aplikasi yang memungkinkan model menggunakan GPU untuk tugas-tugas komputasi yang dipercepat. Kemampuan ini meningkatkan efisiensi dan kecepatan komputasi model bahasa. Terakhir, integrasi GGUF dengan Langchain, sebuah kerangka kerja untuk mengembangkan dan menerapkan model bahasa, memfasilitasi penerapan model GGUF sehingga dapat digunakan secara efektif dalam lingkungan pengembangan dan aplikasi.

Model bahasa besar Meta AI (LLaMA)
 

Meta menggunakan GGUF untuk model LLaMA (Llama-2 dan Llama-3), yang dirancang untuk tugas pemrosesan bahasa alami (NLP) termasuk pembuatan teks, ringkasan, dan menjawab pertanyaan. GGUF di LLaMA memungkinkan penerapan di berbagai konfigurasi perangkat keras, mulai dari GPU berkinerja tinggi hingga CPU tingkat konsumen yang lebih umum. Llama-3 adalah model saat ini.

WebUI pembuatan teks

Antarmuka web ini menghasilkan teks menggunakan LLM dan menggunakan GGUF untuk penyimpanan model dan inferensi. Fleksibilitas GGUF memungkinkan pengguna memuat model besar dengan cepat untuk melakukan tugas pembuatan teks dengan latensi minimal.

KoboldCpp

Klien populer untuk menjalankan LLM secara lokal, KoboldCPP telah mengadopsi GGUF untuk meningkatkan kinerjanya bagi pengguna akhir. Hal ini khususnya bermanfaat bagi para penghobi dan peneliti yang memerlukan solusi yang tangguh dan mudah digunakan untuk bereksperimen dengan LLM pada komputer pribadi.

Pengembangan GGUF didukung oleh komunitas kolaboratif. Berbagai pustaka dan alat bantu telah dikembangkan untuk mendukung GGUF, memastikan adopsi dan integrasi yang luas ke dalam berbagai alur kerja AI. Beberapa pemain kunci dalam ekosistem ini meliputi:

• llama.cpp: Perpustakaan inti yang menyediakan alat untuk bekerja dengan GGUF, termasuk utilitas konversi dan dukungan untuk menjalankan model.
• ctransformers: Pustaka ini mendukung pengintegrasian model GGUF ke dalam berbagai lingkungan pemrograman, sehingga memudahkan pengembang untuk menggunakan model ini dalam aplikasi mereka.
• UI Web LoLLMS: Antarmuka berbasis web yang mendukung GGUF, memungkinkan pengguna berinteraksi dengan model melalui antarmuka yang ramah pengguna.

Pengenalan GGUF menandai pergeseran ke arah format model generatif yang lebih berkelanjutan dan mudah beradaptasi. Kemampuannya untuk mendukung berbagai macam model dan konfigurasi, berarti bahwa kamera ini tidak terbatas pada contoh penggunaan atau perangkat keras tertentu. Keserbagunaan ini memastikan bahwa GGUF dapat terus memenuhi kebutuhan komunitas AI saat kemajuan baru muncul.

Selain itu, penekanan GGUF pada kompatibilitas dengan versi sebelumnya meminimalkan gangguan selama peningkatan, sehingga memudahkan organisasi untuk bertransisi ke versi yang lebih baru tanpa waktu henti atau konfigurasi ulang yang signifikan.

GGUF, sebagai format terbuka, mendapat manfaat dari kontribusi kolaboratif komunitas sumber terbuka, yang membantu dalam pengembangan, peningkatan, dan adopsi yang meluas. Adopsinya dalam proyek-proyek terkenal seperti LLaMA dan berbagai alat bantu AI menggarisbawahi signifikansinya dalam evolusi model bahasa yang sedang berlangsung. Dengan memfasilitasi penerapan model yang lebih cepat, lebih fleksibel, dan siap untuk masa depan, GGUF memainkan peran penting dalam memajukan kemampuan sistem AI.