Apa itu parameter model?

Nilai-nilai parameter ini menentukan prediksi model dan pada akhirnya kinerja model pada tugas yang diberikan. Jumlah parameter dalam model secara langsung memengaruhi kemampuan model untuk menangkap pola di seluruh titik data. Model besar, seperti yang digunakan dalam AI generatif, dapat memiliki miliaran parameter, sehingga mereka dapat menghasilkan output yang sangat canggih. Lebih banyak parameter memungkinkan model untuk lebih akurat menangkap pola data yang lebih mendalam, tetapi terlalu banyak parameter menimbulkan risiko overfitting.

Algoritma machine learning yang berbeda memiliki jenis parameter yang berbeda. Misalnya, model regresi memiliki koefisien, neural networks memiliki bobot dan bias, dan beberapa algoritma, seperti mesin vektor pendukung atau model ruang keadaan, memiliki jenis parameter yang unik.

Parameter model, variabel yang dipelajari selama pelatihan, tidak boleh disamakan dengan hiperparameter yang ditetapkan sebelumnya. Kedua jenis parameter tersebut memengaruhi kinerja dan perilaku model, tetapi dengan cara yang sangat berbeda. 

Parameter model hadir dalam model sederhana—bahkan dalam model matematika yang paling sederhana sekalipun, yang menggambarkan kuantitas yang berubah dengan laju konstan.

Untuk mengetahui bagaimana luas persegi dapat memengaruhi harga rumah, seseorang dapat menggunakan model regresi linier sederhana yang menggunakan persamaan $y=mx+b$, di mana m (kemiringan) dan b (intersep) adalah parameter. Dengan menyesuaikannya, garis yang dihasilkan bergeser dan miring hingga sangat cocok dengan data.

Contoh yang sedikit lebih kompleks mungkin menggunakan model regresi logistik untuk menentukan apakah rumah akan dijual atau tidak berdasarkan berapa hari rumah itu tersedia di pasaran.

Regresi logistik menggunakan rumus:  $p=\frac{1}{1+e^{-(wx+b)}}$ , di mana p = "probabilitas penjualan" dan x = "hari tersedia di pasaran." Sekali lagi, w dan b adalah parameter yang "dipelajari" oleh model. Persamaannya menjadi sedikit lebih kompleks, tetapi tetap hanya ada 2 parameter yang digunakan.

Dalam machine learning, sebagian besar parameter model memiliki 2 jenis: bobot dan bias. Dalam contoh model regresi linier sederhana, $y=mx+b$ , berat sesuai dengan kemiringan m, mengendalikan seberapa kuat input memengaruhi output. Semakin besar bobotnya, semakin besar dampak input. Bias sesuai dengan intersep b. Ini memungkinkan model menggeser seluruh baris ke atas atau ke bawah.

Bobot adalah kenop atau pengaturan kontrol dasar untuk model dan menentukan bagaimana model mengevaluasi data baru dan membuat prediksi.

Dalam model regresi linier, bobot menentukan pengaruh relatif dari setiap fitur yang digunakan untuk menunjukkan setiap titik data input. Dalam neural networks, bobot menentukan pengaruh relatif dari output setiap neuron terhadap output setiap neuron di lapisan berikutnya. 

Dalam contoh model yang mencoba memprediksi apakah sebuah rumah akan terjual berdasarkan faktor-faktor seperti "hari tersedia di pasaran", masing-masing faktor ini memiliki bobot yang mencerminkan seberapa kuat faktor tersebut memengaruhi kemungkinan penjualan.

Bias memungkinkan model untuk menyesuaikan output secara independen dari bobot dan input model, bertindak sebagai ambang batas atau penyeimbang. Bias membantu model menggeneralisasi dan menangkap pola dan tren yang lebih besar di seluruh kumpulan data. 

Berpegang teguh pada model penjualan rumah, mungkin umumnya 60% dari semua rumah di daerah tersebut pada akhirnya akan terjual, terlepas dari berapa hari rumah ditawarkan di pasar, secara keseluruhan, bahkan jika rumah tertentu telah terdaftar selama beberapa hari atau hanya memiliki sedikit tur keliling rumah. Bias memungkinkan model untuk memulai dengan probabilitas dasar yang realistis ini dan kemudian menyesuaikan ke atas atau ke bawah berdasarkan input lainnya.

Penggunaan “bias” ini adalah konsep terpisah dari bias algoritmik, yaitu ketika model menghasilkan hasil yang diskriminatif. Bias juga merupakan istilah untuk jenis kesalahan yang dihasilkan oleh model yang membuat asumsi salah tentang data, yang menyebabkan perbedaan antara nilai yang diprediksi dan nilai aktual. Keduanya tidak terkait dengan bias parameter.

Ada jenis parameter lain dalam dunia machine learning. Model sederhana di atas menggunakan bobot dan bias, seperti halnya neural networks yang jauh lebih kompleks, serta parameter perolehan dan pergeseran untuk normalisasi.

Misalnya neural networks konvolusional, memiliki filter (dikenal juga sebagai kernel), yang mendeteksi pola spasial. Recurrent neural networks dengan memori jangka pendek yang panjang menggunakan parameter gating untuk mengontrol aliran informasi yang melalui jaringan. Model probabilistik seperti Naive Bayes menggunakan parameter untuk menetapkan probabilitas bersyarat atau sifat distribusi probabilitas. Mesin vektor pendukung menentukan parameter yang memosisikan dan mengarahkan “hyperplane” untuk memisahkan kelas dalam ruang fitur. Model ruang kondisi memiliki parameter observasi dan ketidakakuratan.

Ini adalah daftar contoh terbatas dan parameter dari model yang berbeda bekerja dengan cara yang berbeda. Tetapi semua parameter ini menentukan bagaimana model memetakan data input ke output.

Parameter pada dasarnya adalah jawaban atas pertanyaan yang diajukan model (mis. "Berapa kemiringan terbaik dari persamaan yang akan memberi tahu kita dengan sangat akurat berapa harga rumah tersebut, berdasarkan luasnya?")

Sebaliknya, hiperparameter dapat dianggap sebagai aturan main yang memberi tahu model bagaimana cara menemukan jawaban tersebut. Ilmuwan data yang melatih model menggunakan pemahaman mereka tentang masalah akan menerapkan batasan yang menentukan bagaimana model akan mencari jawaban.

Parameter model bersifat internal pada sebuah model dan diperbarui oleh model tersebut di seluruh iterasi proses pembelajaran sebagai respons terhadap data pelatihan. Model memperbarui nilai parameter selama pelatihan. Parameter mengontrol bagaimana model bereaksi terhadap data yang tidak terlihat.

Hiperparameter model berada di luar model dan diatur sebelum pelatihan melalui penyetelan hiperparameter. Beberapa hiperparameter menentukan perilaku model selama pelatihan, seperti laju pembelajaran selama penurunan gradien atau jumlah periode dari proses pelatihan. 

Hiperparameter lain bertanggung jawab atas bentuk dan struktur model, seperti jumlah decision trees di hutan acak, klaster dalam pengelompokan k-means,, atau lapisan tersembunyi dalam jaringan neural. 

Model machine learning bisa jauh lebih kompleks daripada contoh sebelumnya. Dalam neural networks seperti model bahasa besar (LLM), sebuah model membuat keputusan dengan cara yang mirip dengan cara neuron biologis bekerja bersama dalam otak manusia. Setiap neural networks terdiri dari lapisan neuron buatan, di mana setiap neuron mewakili fungsi matematika yang memproses angka. Dalam pembelajaran mendalam, neural networks terdiri dari banyak lapisan ini.

Setiap neuron mengontrol seberapa kuat satu bagian jaringan memengaruhi jaringan lainnya. Bobot menentukan kekuatan koneksi antara neuron: sejauh mana output satu neuron memengaruhi input neuron berikutnya. 

Selama pelatihan, jaringan menerima input. Untuk melanjutkan contoh harga rumah, input bisa berupa luas persegi, tahun konstruksi, data demografis lingkungan, dan puluhan input lainnya.

Fitur input ini diteruskan ke lapisan pertama neuron. Setiap input dikalikan dengan bobot, tebakan terbaik jaringan tentang seberapa penting neuron tersebut, dan bias ditambahkan untuk meningkatkan fleksibilitas, sehingga neuron memiliki independensi dari pengaruh jumlah tertimbang input dari neuron di lapisan sebelumnya. Fungsi aktivasi memutuskan seberapa kuat neuron “menyala” dan meneruskan informasi ke lapisan berikutnya sebagai input ke fungsi aktivasi setiap neuron di lapisan berikutnya. Masing-masing koneksi antara neuron ini memiliki bobotnya sendiri.

Bobot membentuk matriks, bias membentuk vektor, dan lapisan menghitung kombinasi linier input + bias, kemudian meneruskan hasil melalui fungsi aktivasi, seperti fungsi sigmoid, tanh, reLU, atau softmax. Tugas dari fungsi ini adalah untuk memperkenalkan nonlinieritas, yang memungkinkan jaringan untuk belajar dan memodelkan pola yang kompleks, bukan hanya hubungan linier.

Data bergerak melalui lapisan "tersembunyi" berikutnya. Lapisan tersembunyi pertama mungkin menggabungkan luas rumah dan jumlah kamar tidur untuk mendapatkan "area tempat tinggal keseluruhan". Lapisan lain mungkin menggabungkan lokasi geografis rumah + peringkat distrik sekolahnya untuk menentukan "daya tarik lingkungan". Model ini tidak memiliki pemahaman manusia tentang apa itu "daya tarik lingkungan", model ini hanya mengenali pola dalam jumlah data pelatihannya dan membuat korelasi.

Dari lapisan ke lapisan, jaringan mulai “memahami” pola mana yang paling relevan. Lapisan bertumpuk ini mengubah operasi sederhana menjadi jaringan efektif yang mampu mempelajari pola hierarkis yang kompleks.

Pada tahap selanjutnya, jaringan menghitung kesalahan (perbedaan antara output jaringan dan kebenaran dasar—struktur data yang ada dalam kumpulan data pelatihan). Hasilnya adalah satu angka yang menunjukkan sejauh apa kesalahan output model.

Kemudian, selama propagasi balik, jaringan menghitung gradien kesalahan sehubungan dengan bobot dan bias, yang memberi tahu jaringan parameter mana yang memengaruhi kesalahan, dan cara menyesuaikannya untuk meminimalkan kesalahan. Ini terjadi dalam urutan terbalik, lapis demi lapis, dengan algoritma penurunan gradien. Algoritma pengoptimalan seperti penurunan gradien dirancang untuk meminimalkan fungsi kesalahan, memberi tahu model cara mengubah parameternya secara efisien untuk mengurangi kesalahan.

Proses di atas berulang sampai model mampu memberikan output (dalam hal ini, harga rumah yang diprediksi) pada tingkat kinerja yang diinginkan.

Contoh memprediksi harga rumah mengungkapkan bagaimana neural networks mengambil banyak fitur sekaligus, menggabungkannya dengan cara nonlinier, dan memberikan output berupa prediksi yang berguna. Namun, ini bisa dicapai dengan model regresi linier yang lebih sederhana. Neural networks benar-benar berfungsi ketika data tidak terstruktur atau pola terlalu kompleks atau berdimensi tinggi untuk model tradisional. Sebagai contoh, neural networks dapat digunakan untuk memproses foto satelit dan data peta lingkungan untuk memprediksi harga jual. Atau, neural networks dapat dilatih untuk mengenali berbagai istilah kunci dalam deskripsi iklan seperti "jalan yang sepi" atau "atap baru".

Ketika pelatihan awal selesai, model AI dapat disesuaikan lebih lanjut dengan tugas atau bidang subjek tertentu. Penyempurnaan adalah proses mengadaptasi model terlatih untuk contoh penggunaan tertentu. Untuk melakukan ini, parameter model diperbarui melalui pelatihan tambahan pada data baru.

Contoh neural networks di atas yang digunakan untuk memprediksi harga rumah menggambarkan pembelajaran diawasi, di mana model belajar menggunakan data berlabel. Dalam konteks ini, model diberikan input dan output yang benar. Model membandingkan prediksinya dengan kebenaran dasar (dalam hal ini, data berlabel). Penyempurnaan sering terjadi dalam konteks diawasi.

Pembelajaran tanpa pengawasan memungkinkan model untuk mempelajari parameter dengan menemukan pola atau struktur dalam data tidak berlabel, tanpa diberi tahu “jawaban yang benar.” Alih-alih membandingkan prediksi dengan label kebenaran dasar (seperti dalam pembelajaran diawasi), semua model ini mengoptimalkan tujuan yang mengukur seberapa baik model menjelaskan data itu sendiri. Misalnya, dalam pengelompokan, parameter (seperti centroid klaster dalam k-mean) diperbarui secara berulang sehingga titik serupa dikelompokkan lebih dekat satu sama lain. Dalam reduksi dimensi, parameter dipelajari dengan menemukan arah yang menangkap varians paling banyak dalam data.

Dalam pembelajaran penguatan, model (atau agen yang didukung oleh model) berinteraksi dengan lingkungan, menerima imbalan untuk tindakan yang benar. Parameter biasanya menentukan kebijakan atau fungsi nilai yang memperkirakan imbalan yang diharapkan. Parameter diperbarui dengan membandingkan imbalan yang diprediksi dengan imbalan aktual yang diterima.

Meningkatkan kinerja pada data pelatihan adalah tujuan pelatihan, tetapi itu hanya sarana untuk mencapai tujuan. Tujuan utamanya adalah generalisasi, yang dicapai dengan melatih model sedemikian rupa sehingga model tersebut dapat menggeneralisasi dengan baik untuk tugas-tugas dunia nyata yang tidak terlihat dalam data pelatihannya.

Perhatian harus diberikan untuk menghindari jebakan seperti overfitting, ketika parameter menangkap ketidakakuratan atau fluktuasi acak dalam data pelatihan, yang menyebabkan generalisasi buruk pada data baru. Parameter harus cukup fleksibel untuk mempelajari pola yang bermakna, tetapi tidak terlalu fleksibel sehingga mereka menghafal detail yang tidak relevan.

Beberapa teknik ilmu data digunakan untuk mengevaluasi kinerja model. Validasi silang adalah teknik evaluasi model di mana kumpulan data dibagi menjadi beberapa bagian (lipatan). Model dilatih pada beberapa lipatan dan diuji pada lipatan yang tersisa, dan proses ini diulang hingga setiap lipatan digunakan sebagai kumpulan pengujian. Ini mengurangi risiko overfitting, karena model diuji pada beberapa partisi data. Validasi silang tidak secara langsung mengubah parameter, tetapi menguji seberapa baik parameter yang dipelajari menggeneralisasi pada data yang tidak terlihat. Jika kinerja konsisten di seluruh lipatan, parameternya kemungkinan akan dioptimalkan dengan baik. Jika tidak, parameter model mungkin terlalu sesuai dengan bagian dari data pelatihan yang telah dilihatnya. Pelatihan lebih lanjut tentang data yang lebih beragam dapat meningkatkan generalisasi.

Teknik lain adalah bootstrapping, metode statistik yang melibatkan pembuatan kumpulan data baru dengan pengambilan sampel secara acak dengan penggantian dari kumpulan data asli. Bootstrapping menghasilkan banyak kumpulan parameter, karena setiap sampel Bootstrapping sedikit berbeda. Dengan melihat variasi di seluruh model bootstrapping ini, seseorang dapat mengukur seberapa andal parameter ketika dilatih pada data yang sedikit berbeda.

Praktisi juga mengandalkan metrik yang mengukur kinerja model, seperti akurasi, presisi, recall, atau rata-rata kuadrat kesalahan. Ini memberikan masukan objektif tentang apakah parameter saat ini menggerakkan model ke arah yang benar.