Apa itu fungsi kerugian?

Fungsi kerugian adalah jenis fungsi objektif, yang dalam konteks ilmu data mengacu pada fungsi apa pun yang meminimalkan atau memaksimalkan tujuan pelatihan model. Istilah 'fungsi kerugian', yang biasanya identik dengan fungsi biaya atau fungsi kesalahan, secara khusus mengacu pada situasi di mana minimalisasi adalah tujuan pelatihan untuk model machine learning.

Secara sederhana, fungsi kerugian melacak tingkat kesalahan dalam hasil model kecerdasan buatan (AI). Hal ini dilakukan dengan mengukur perbedaan ('kerugian') antara nilai yang diprediksi-yaitu, hasil model-untuk input yang diberikan dan nilai aktual atau kebenaran dasar. Jika prediksi model akurat, kerugiannya kecil. Jika prediksinya tidak akurat, kerugiannya besar.

Tujuan mendasar machine learning adalah untuk melatih model untuk menghasilkan prediksi yang baik. Fungsi kerugian memungkinkan kita untuk mendefinisikan dan mengejar tujuan itu secara matematis. Selama pelatihan, model 'belajar' untuk menghasilkan prediksi yang lebih baik dengan menyesuaikan parameter dengan cara yang mengurangi kerugian. Model machine learning telah cukup terlatih ketika kerugian telah diminimalkan di bawah ambang batas yang telah ditentukan.

Dalam pengaturan pelatihan yang umum, sebuah model membuat prediksi pada sekumpulan titik data sampel yang diambil dari kumpulan data pelatihan dan fungsi kerugian mengukur kesalahan rata-rata untuk setiap contoh. Informasi ini kemudian digunakan untuk mengoptimalkan parameter model.

Fungsi kerugian khusus untuk pembelajaran yang diawasi, yang tugas pelatihannya mengasumsikan adanya jawaban yang benar: kebenaran dasar. Algoritme pembelajaran konvensional tanpa pengawasan, seperti pengelompokan atau asosiasi, tidak melibatkan jawaban 'benar' atau 'salah', karena mereka hanya berusaha menemukan pola intrinsik dalam data yang tidak berlabel.

Pembelajaran terawasi membutuhkan kumpulan data berlabel, di mana anotasi manual memberikan kebenaran dasar untuk setiap sampel pelatihan. Misalnya, model segmentasi gambar memerlukan sampel pelatihan dengan setiap piksel dianotasi sesuai dengan kelas yang benar. Dalam pembelajaran yang diawasi sendiri, yang menutupi atau mengubah bagian dari sampel data tanpa label dan model tugas dengan merekonstruksinya, sampel asli itu sendiri berfungsi sebagai kebenaran dasar.

Fungsi kerugian bukan hanya metrik evaluasi. Tujuan eksplisitnya tidak hanya untuk mengukur keberhasilan model, tetapi juga berfungsi sebagai input untuk algoritma yang mengoptimalkan parameter model untuk meminimalkan kerugian.

Algoritma optimalisasi seperti penurunan gradien biasanya menggunakan gradien fungsi kerugian. Gradien adalah turunan dari suatu fungsi dengan beberapa variabel. Pada dasarnya, turunan menggambarkan tingkat dan jumlah bahwa hasil dari suatu fungsi berubah pada titik mana pun. Oleh karena itu, penting bagi fungsi kerugian untuk dapat dibedakan: dengan kata lain, memiliki turunan di semua titik.

Model machine learning belajar membuat prediksi yang akurat melalui penyesuaian parameter model tertentu. Sebagai contoh, algoritma regresi linier sederhana memodelkan data dengan fungsi y = wx+b, di mana y adalah hasil model, x adalah input, w adalah bobot dan b adalah bias. Model belajar dengan memperbarui istilah bobot dan bias sampai fungsi kerugian cukup diminimalkan.

Dengan menggunakan gradien dari fungsi kerugian, algoritma optimalisasi menentukan arah 'langkah' parameter model untuk menurunkan gradien dan dengan demikian mengurangi kerugian.

Model pembelajaran mendalam menggunakan jaringan neural buatan besar, yang terdiri dari lapisan neuron yang saling berhubungan yang masing-masing memiliki fungsi aktivasi nonlinier mereka sendiri, bukan mengandalkan fungsi tunggal. Untuk membedakan seluruh jaringan memerlukan penghitungan turunan parsial dari ratusan, ribuan, atau bahkan jutaan variabel dan fungsi aktivasi yang terpisah terhadap yang lain.

 Untuk melakukannya, neural network menggunakan propagasi balik untuk menemukan gradien dari fungsi kerugian setelah forward pass yang diakhiri dengan prediksi pada titik data dari kumpulan data pelatihan. Singkatan dari propagasi balik dari kesalahan, propagasi balik dimulai dengan output dari fungsi kerugian. Dalam sebuah langkah mundur melalui jaringan dari lapisan keluaran ke lapisan masuk, algoritma propagasi balik menggunakan aturan rantai untuk menghitung bagaimana setiap bobot dan bias di jaringan itu berkontribusi pada kerugian keseluruhan.

Gradien yang dihasilkan dari turunan parsial untuk seluruh jaringan kemudian dapat digunakan oleh algoritma penurunan gradien untuk memperbarui bobot jaringan secara iteratif hingga kerugian telah diminimalkan secara memadai.

Meskipun model dilatih dan divalidasi dengan membuat prediksi pada kumpulan data pelatihan, berkinerja baik pada contoh pelatihan bukanlah tujuan akhir. Tujuan sebenarnya dari machine learning adalah untuk melatih model yang menggeneralisasi dengan baik ke contoh-contoh baru.

Mengandalkan semata-mata pada minimalisasi fungsi kerugian tunggal disebut 'minimalisasi risiko empiris'. Meskipun memiliki daya tarik yang jelas dan sederhana, ini berisiko overfitting model dengan data pelatihan dan dengan demikian menggeneralisasi dengan buruk. Untuk mengurangi risiko ini, di antara tujuan lainnya, banyak algoritma dan arsitektur yang memperkenalkan istilah regularisasi yang memodifikasi fungsi kerugian utama.

Misalnya, kesalahan absolut rata-rata (MAE)—yang dalam konteks ini disebut regularisasi L1—dapat digunakan untuk menegakkan kelangkaan dengan memberi penalti pada jumlah neuron yang diaktifkan dalam jaringan neural atau besarnya aktivasinya.

Terdapat berbagai macam fungsi kerugian yang berbeda, masing-masing disesuaikan dengan tujuan, tipe data, dan prioritas yang berbeda. Pada tingkat tertinggi, fungsi kerugian yang paling umum digunakan dibagi menjadi fungsi kerugian regresi dan fungsi kerugian klasifikasi.

• Fungsi kerugian regresi mengukur kesalahan dalam prediksi yang melibatkan nilai berlanjut. Meskipun penerapan terbaiknya adalah pada model yang secara langsung memperkirakan konsep yang dapat diukur seperti harga, usia, ukuran atau waktu, kerugian regresi memiliki berbagai penerapan yang luas. Contohnya, fungsi kerugian regresi dapat digunakan untuk mengoptimalkan model gambar yang tugasnya memperkirakan nilai warna piksel individual.
   

• Fungsi kerugian klasifikasi mengukur kesalahan dalam prediksi yang melibatkan nilai diskrit, seperti kategori yang dimiliki titik data atau apakah sebuah email adalah spam atau bukan. Jenis-jenis kerugian klasifikasi dapat dibagi lagi menjadi klasifikasi yang cocok untuk klasifikasi biner dan klasifikasi yang cocok untuk klasifikasi multi-kelas.

Pemilihan salah satu fungsi kerugian dari dalam dua kategori tersebut harus tergantung pada sifat contoh penggunaan seseorang. Beberapa algoritma machine learning memerlukan fungsi kerugian tertentu yang sesuai dengan struktur matematikanya, tetapi untuk sebagian besar arsitektur model, setidaknya secara teoritis, ada beberapa opsi.

Fungsi kerugian yang berbeda memprioritaskan jenis kesalahan yang berbeda. Misalnya, sebagian mungkin memberikan sanksi keras terhadap outlier, sementara sebagian lain mengendalikan varians minor. Beberapa memberikan akurasi lebih tinggi tetapi dengan mengorbankan komputasi yang lebih rumit dan, oleh karena itu, membutuhkan lebih banyak waktu dan sumber daya komputasi untuk melakukan perhitungan.

Pada akhirnya, pilihan fungsi kerugian harus mencerminkan tugas pembelajaran yang spesifik, sifat data yang dianalisis oleh model, jenis ketidakakuratan yang paling mahal dan sumber daya komputasi yang tersedia.

Masalah regresi, seperti regresi linier atau regresi polinomial, menghasilkan nilai kontinu dengan menentukan hubungan antara satu atau lebih variabel independen (x) dan variabel dependen (y): diberikan x, memprediksi nilai y. Oleh karena itu, kerugian regresi harus sensitif terhadap tidak hanya apakah hasil salah, tetapi juga sejauh mana hasil tersebut menyimpang dari kebenaran dasar.

Fungsi kerugian kesalahan kuadrat rata-rata, juga disebut kerugian L2 atau kerugian kuadratik, umumnya merupakan standar untuk sebagian besar algoritma regresi. Seperti namanya, MSE dihitung sebagai rata-rata perbedaan kuadrat antara nilai prediksi dan nilai sebenarnya di semua contoh pelatihan. Rumus untuk menghitung MSE di seluruh n titik data dituliskan sebagai 1n∑i=1n(yi-yi^)2, di mana y adalah nilai sebenarnya dan ŷ adalah nilai prediksi.

Menguadratkan kesalahan berarti bahwa nilai yang dihasilkan selalu positif: dengan demikian, MSE hanya mengevaluasi besarnya kesalahan dan bukan arahnya. Menguadratkan kesalahan juga memberikan kesalahan besar dampak yang tidak proporsional terhadap kerugian secara keseluruhan, yang secara kuat menghukum outlier dan memberi insentif kepada model untuk menguranginya. MSE dengan demikian cocok ketika hasil target diasumsikan memiliki distribusi normal (Gaussian).

MSE selalu dapat dibedakan, sehingga praktis untuk mengoptimalkan model regresi melalui penurunan gradien.

Untuk masalah regresi di mana output target memiliki rentang nilai potensial yang sangat luas, seperti dalam kasus pertumbuhan eksponensial, penalti berat atas terhadap kesalahan besar mungkin bersifat kontraproduktif. Kesalahan logaritma kuadrat rata-rata (MSLE) mengimbangi masalah ini dengan rata-rata kuadrat logaritma natural dari perbedaan antara nilai prediksi dan nilai rata-rata. Namun, perlu dicatat bahwa MSLE memberikan penalti yang lebih besar pada prediksi yang terlalu rendah daripada prediksi yang terlalu tinggi.

Rumus untuk MSLE ditulis sebagai 1n∑i=1n(loge(1+yi)-loge(1+yi^))2

Kesalahan kuadrat rata-rata akar adalah akar kuadrat dari MSE, yang membuatnya terkait erat dengan rumus standar deviasi. Secara khusus, RMSE dihitung sebagai

$\sqrt{\frac{\sum _{i=1}^n(y_i-\widehat{y_i}{)}^2}{n}}$ .

Dengan demikian, RMSE sebagian besar mencerminkan kualitas MSE dalam hal sensitivitas terhadap outlier, tetapi lebih mudah untuk diinterpretasikan karena RMSE mengekspresikan kerugian dalam unit yang sama dengan nilai hasil itu sendiri. Manfaat ini agak dibatasi oleh fakta bahwa menghitung RSME membutuhkan langkah lain dibandingkan dengan menghitung MSE, yang meningkatkan biaya komputasi.

Kesalahan absolut rata-rata atau kerugian L1, mengukur rata-rataperbedaan absolut antara nilai prediksi dan nilai aktual. Seperti MSE, MAE selalu positif dan tidak membedakan antara perkiraan yang terlalu tinggi atau terlalu rendah. Ini dihitung sebagai jumlah nilai absolut dari semua kesalahan dibagi dengan ukuran sampel:  $\frac{1}{n}\sum _{i=1}^n|y_i-\widehat{y_i}|$

Karena tidak mengkuadratkan setiap nilai kerugian, MAE lebih kuat terhadap outlier daripada MSE. Dengan demikian, MAE ideal ketika data mungkin mengandung beberapa nilai ekstrem yang seharusnya tidak terlalu memengaruhi model. Kerugian L1 juga memberikan penalti lebih besar pada kesalahan kecil daripada kerugian L2.

Fungsi kerugian MAE tidak dapat dibedakan dalam kasus di mana hasil yang diprediksi sesuai dengan hasil aktual. Oleh karena itu, MAE membutuhkan lebih banyak langkah penyelesaian selama pengoptimalan.

Kerugian Huber, juga disebut kerugian L1 mulus, bertujuan untuk menyeimbangkan kekuatan MAE dan MSE. Ini menggabungkan hiperparameter yang dapat disesuaikan, δ, yang bertindak sebagai titik transisi: untuk nilai kerugian di bawah atau sama dengan δ, kerugian Huber adalah kuadratik (seperti MSE); untuk nilai kerugian yang lebih besar dari δ, kerugian Huber adalah linier (seperti MAE).

 $L_{\delta }=\{<!--\; -->\begin{array}{cc}\frac{1}{2}(y-\hat{y}{)}^2& if\left|(y-\hat{y})\right|<\delta \\ \delta (\left|(y-\hat{y})\right|-\frac{1}{2}\delta )& otherwise\end{array}$

Dengan demikian, kerugian Huber menawarkan fungsi yang dapat dibedakan sepenuhnya dengan ketahanan MAE terhadap outlier dan kemudahan optimalisasi MSE melalui penurunan gradien. Transisi dari perilaku kuadratik ke linier pada δ juga menghasilkan optimalisasi yang tidak terlalu rentan terhadap masalah seperti gradien yang menghilang atau meledak jika dibandingkan dengan kerugian MSE.

Manfaat ini dibatasi oleh kebutuhan untuk mendefinisikan δ secara hati-hati, menambah kompleksitas pada pengembangan model. Kerugian Huber paling tepat digunakan ketika baik MSE maupun MAE tidak memberikan hasil yang memuaskan, seperti ketika sebuah model harus kuat terhadap outlier tetapi masih memberikan hukuman yang keras terhadap nilai ekstrim yang berada di luar ambang batas tertentu.

Masalah klasifikasi, dan fungsi kerugian yang digunakan untuk mengoptimalkan model yang menyelesaikannya, dibagi menjadi klasifikasi biner, misalnya 'spam' atau 'bukan spam', 'setujui' atau 'tolak'-atau klasifikasi multi-kelas.

Masalah klasifikasi multi-kelas dapat didekati dengan dua cara. Salah satu pendekatannya adalah menghitung probabilitas relatif dari sebuah titik data yang termasuk dalam setiap kategori potensial, kemudian memilih kategori yang memiliki probabilitas tertinggi. Pendekatan ini biasanya digunakan oleh jaringan neural, menggunakan fungsi aktivasi softmax untuk neuron pada lapisan hasil. Pendekatan alternatifnya adalah membagi masalah menjadi serangkaian masalah klasifikasi biner.

Dalam kebanyakan kasus, kerugian klasifikasi dihitung dalam bentuk entropi. Entropi, dalam bahasa sederhana, adalah ukuran ketidakpastian dalam suatu sistem. Sebagai contoh intuitif, bandingkan melempar koin dengan melempar dadu: yang pertama memiliki entropi yang lebih rendah, karena ada lebih sedikit hasil potensial dalam lemparan koin (2) daripada lemparan dadu (6).

Dalam pembelajaran terawasi, prediksi model dibandingkan dengan klasifikasi kebenaran dasar yang disediakan oleh label data. Label kebenaran dasar tersebut sudah pasti dan karenanya memiliki entropi rendah atau tanpa entropi. Dengan demikian, kita dapat mengukur kerugian dalam hal perbedaan kepastian yang kita miliki menggunakan label kebenaran dasar dengan kepastian label yang diprediksi oleh model.

Rumus untuk kerugian lintas entropi (CEL) diturunkan dari rumus divergensi Kullback-Leibler (divergensi KL), yang mengukur perbedaan antara dua distribusi probabilitas. Pada akhirnya, meminimalkan kerugian berarti meminimalkan perbedaan antara distribusi probabilitas kebenaran dasar yang diberikan kepada setiap label potensial dan probabilitas relatif untuk setiap label yang diprediksi oleh model.

Kerugian entropi silang biner, juga disebut kerugian log, digunakan untuk klasifikasi biner. Algoritma klasifikasi biner biasanya menghasilkan nilai kemungkinan antara 0 dan 1. Misalnya, dalam model pendeteksian spam email, input email yang menghasilkan output mendekati 1 dapat diberi label ‘spam’. Input yang menghasilkan output mendekati 0 akan diklasifikasikan sebagai ‘bukan spam’. Output 0,5 menunjukkan kegagalan atau kecenderungan yang tinggi terhadap keputusan atau entropi.

Meskipun algoritma akan menghasilkan nilai antara 0 dan 1, nilai kebenaran dasar untuk prediksi yang benar adalah ‘0’ atau ‘1’. Dengan demikian, meminimalkan kerugian entropi silang biner tidak hanya berarti mempenalti prediksi yang salah, tetapi juga mempenalti prediksi dengan kepastian rendah. Ini memberi insentif pada model untuk mempelajari parameter yang menghasilkan prediksi yang tidak hanya benar tetapi juga pasti. Selain itu, dengan fokus pada logaritma dari nilai kemungkinan yang diprediksi, algoritma ini akan lebih ketat dalam memberikan hukuman terhadap prediksi yang salah dengan tingkat konfidensi tinggi.

Untuk mempertahankan konvensi umum tentang nilai kerugian lebih rendah berarti lebih sedikit kesalahan, hasilnya dikalikan dengan -1. Kerugian log untuk satu contoh  dengan demikian dihitung sebagai –(yi·log(p(yi))+(1-yi)·log(1-p(yi))), di mana y_i adalah kemungkinan sebenarnya, yaitu 0 atau 1, dan p(y_i) adalah prediksi kemungkinan. Rata-rata kerugian pada seluruh kumpulan n contoh pelatihan dihitung sebagai –1n∑i=1nyi·log(p(yi))+(1-yi)·log(1-p(yi)).

Kerugian entropi silang kategorikal (CCEL) menerapkan prinsip yang sama pada klasifikasi multi-kelas. Model klasifikasi multikelas biasanya akan mengeluarkan nilai untuk setiap kelas potensial, yang menggambarkan probabilitas input yang termasuk dalam masing-masing kategori. Dengan kata lain, mereka menghasilkan prediksi sebagai distribusi probabilitas.

Dalam pembelajaran mendalam, pengklasifikasi jaringan neural biasanya menggunakan fungsi aktivasi softmax untuk neuron di lapisan output. Setiap nilai neuron hasil dipetakan ke angka antara 0 dan 1, dengan nilai-nilai yang secara kolektif dijumlahkan hingga 1.

Sebagai contoh, pada sebuah titik data yang hanya berisi satu kategori potensial, nilai kebenaran dasar untuk setiap prediksi terdiri dari '1' untuk kelas yang benar dan '0' untuk setiap kelas yang salah. Meminimalkan CCEL berarti meningkatkan nilai keluaran untuk kelas yang benar dan mengurangi nilai hasil untuk kelas yang salah, sehingga membuat distribusi probabilitas lebih dekat dengan kebenaran dasar. Untuk setiap contoh, kerugian log harus dihitung untuk setiap klasifikasi potensial yang diprediksi oleh model.

Kerugian engsel adalah fungsi kerugian alternatif untuk masalah klasifikasi biner, dan sangat cocok untuk mengoptimalkan model mesin vektor pendukung (SVM). Secara khusus, ini adalah fungsi kerugian yang efektif untuk mengoptimalkan batas keputusan yang memisahkan dua kelas: titik-titik dapat diklasifikasikan menurut sisi mana dari batas keputusan tersebut.

Dalam algoritma yang menggunakan kerugian engsel, nilai kebenaran dasar untuk setiap label biner dipetakan ke {-1, 1} daripada {0,1}. Fungsi kerugian engsel ℓ didefinisikan sebagai ℓ(𝑦)=maks(0,1−𝑡⋅𝑦), di mana t adalah label sebenarnya dan y adalah hasil pengklasifikasi. Hasil persamaan ini selalu non-negatif: jika 1−𝑡⋅𝑦 negatif—yang hanya mungkin terjadi ketika t dan y memiliki tanda yang sama karena model memprediksi kelas yang benar—kerugian akan didefinisikan sebagai 0.

Ini memberikan berbagai kemungkinan dan insentif:

• Ketika prediksi model benar dan yakin - yaitu, ketika y adalah tanda yang benar dan |y| ≥ 1, nilai 1-t⋅𝑦 akan menjadi negatif dan oleh karena itu ℓ = 0.
   

• Ketika prediksi model benar, tetapi tidak pasti, yaitu, ketika y memiliki tanda yang benar tetapi |y| < 1, nilai ℓ akan menjadi positif, antara 0 dan 1. Hal ini membuat prediksi yang tidak akurat menjadi tidak menarik.
   

• Ketika prediksi model tidak tepat, yaitu, ketika y memiliki tanda yang salah, nilai ℓ akan lebih besar dari 1 dan meningkat secara linier dengan nilai |y|. Ini sangat menghambat prediksi yang salah.

Beberapa arsitektur model, terutama yang digunakan dalam pembelajaran mendalam, seolah-olah menggunakan fungsi kerugian yang unik dan khusus. Meskipun fungsi objektif seperti itu unik dalam hal konteks dan logikanya, fungsi tersebut sering kali, tetapi tidak selalu, hanya merupakan aplikasi khusus dari fungsi kerugian umum untuk tujuan pelatihan tertentu.

Sebagai contoh:

• Pengkode Otomatis adalah model tanpa pengawasan yang belajar mengkodekan representasi data input yang dikompresi secara efisien dengan menekan data tersebut melalui 'hambatan', kemudian menggunakan representasi terkompresi itu untuk merekonstruksi input asli. Pengkode otomatis belajar dengan meminimalkan kerugian rekonstruksi: perbedaan antara input asli dan yang direkonstruksi, biasanya dihitung melalui kesalahan kuadrat rata-rata (MSE). Pengkode otomatis variasional menggabungkan divergensi KL sebagai istilah regularisasi.
   

• Model deteksi objek meminimalkan dua jenis kerugian: regresi kotak pembatas dan kerugian lintas entropi. Yang pertama menggunakan MSE, MAE atau kerugian khusus seperti intersection over union (IoU) untuk membandingkan koordinat kotak pembatas yang diprediksi dengan koordinat kebenaran dasar. Yang terakhir ini mengukur klasifikasi objek itu sendiri.
   

• Pembelajaran kontras, suatu bentuk pembelajaran yang diawasi sendiri, melatih model untuk menghasilkan penyematan vektor yang serupa untuk titik data yang serupa. Ini bertujuan untuk mengurangi kerugian kontras atau varian khusus seperti kerugian triplet.