Jika pelatihan berlebihan atau kompleksitas model mengakibatkan overfitting, maka respons pencegahan yang logis adalah dengan menghentikan proses pelatihan lebih awal, yang juga dikenal sebagai, “penghentian dini” atau mengurangi kompleksitas model dengan menghilangkan input yang kurang relevan. Namun, jika Anda berhenti terlalu dini atau mengecualikan terlalu banyak fitur penting, Anda mungkin mengalami masalah yang berlawanan, dan sebaliknya, Anda mungkin mengalami underfitting pada model Anda. Underfitting terjadi ketika model tidak dilatih dalam waktu yang cukup atau variabel input tidak cukup signifikan untuk menentukan hubungan yang berarti antara variabel input dan output.

Dalam kedua skenario itu, model tidak dapat menentukan tren dominan dalam kumpulan data pelatihan. Akibatnya, underfitting juga melakukan generalisasi yang buruk terhadap data yang tidak terlihat. Namun, tidak seperti overfitting, model underfitted mengalami bias yang tinggi dan variansi yang lebih sedikit dalam prediksinya. Hal ini menggambarkan tradeoff bias-varians, yang terjadi ketika model yang mengalami underfitting beralih ke kondisi overfitting. Saat model belajar, biasnya berkurang, tetapi variansnya dapat meningkat seiring dengan overfitting. Saat melatih model, tujuannya adalah untuk menemukan “titik terbaik” di antara underfitting dan overfitting, sehingga dapat membentuk tren dominan dan menerapkannya secara luas pada kumpulan data baru.

Untuk memahami keakuratan model machine learning, penting untuk menguji kebugaran model. Validasi silang K-fold adalah salah satu teknik paling populer untuk menilai keakuratan model.

Dalam validasi silang k-folds, data dibagi menjadi k subset berukuran sama, yang juga disebut "lipatan." Salah satu lipatan-k akan bertindak sebagai set uji, juga dikenal sebagai set holdout atau set validasi, dan lipatan yang tersisa akan melatih model. Proses ini berulang sampai masing-masing lipatan telah bertindak sebagai lipatan holdout. Setelah setiap evaluasi, skor dicatat dan ketika semua iterasi telah selesai, skor dirata-rata untuk menilai kinerja model secara keseluruhan.

Meskipun menggunakan model linier membantu kita menghindari overfitting banyak masalah dunia nyata yang merupakan masalah nonlinier. Selain memahami cara mendeteksi overfitting, penting juga untuk memahami cara menghindari overfitting. Di bawah ini adalah sejumlah teknik yang dapat Anda gunakan untuk mencegah overfitting:

• Penghentian awal: Seperti yang telah kami sebutkan sebelumnya, metode ini berusaha untuk menghentikan sementara pelatihan sebelum model mulai mempelajari kebisingan di dalam model. Pendekatan ini berisiko menghentikan proses pelatihan terlalu cepat, yang mengarah ke masalah sebaliknya underfitting. Menemukan “titik terbaik” antara underfitting dan overfitting adalah tujuan akhirnya di sini.
• Latih dengan lebih banyak data: Memperluas set pelatihan dengan memasukkan lebih banyak data dapat meningkatkan akurasi model dengan memberikan lebih banyak kesempatan untuk menguraikan hubungan dominan di antara variabel input dan output. Konon, ini adalah metode yang lebih efektif ketika data yang bersih dan relevan disuntikkan ke dalam model. Jika tidak, Anda bisa terus menambahkan lebih banyak kompleksitas pada model, menyebabkan overfitting.
• Penambahan data: Meskipun lebih baik menyuntikkan data yang bersih dan relevan ke dalam data pelatihan Anda, terkadang data yang bising ditambahkan untuk membuat model menjadi lebih stabil. Namun, metode ini harus dilakukan dengan cermat.
• Pemilihan fitur: Ketika Anda membangun sebuah model, Anda akan memiliki sejumlah parameter atau fitur yang digunakan untuk memprediksi hasil yang diberikan, tetapi seringkali, fitur-fitur ini dapat menjadi berlebihan bagi orang lain. Seleksi fitur adalah proses mengidentifikasi fitur yang paling penting dalam data pelatihan dan kemudian menghilangkan fitur yang tidak relevan atau berlebihan. Ini biasanya disalahartikan sebagai pengurangan dimensi, tetapi ini sebenarnya berbeda.  Namun, kedua metode membantu menyederhanakan model Anda untuk menetapkan tren dominan dalam data.
• Regularisasi: Jika overfitting terjadi apabila model terlalu kompleks, maka masuk akal bagi kita untuk mengurangi jumlah fitur. Tetapi bagaimana jika kita tidak tahu input mana yang harus dihilangkan selama proses pemilihan fitur? Jika kita tidak tahu fitur mana yang harus dihapus dari model kita, metode regularisasi dapat sangat membantu. Regularisasi menerapkan "penalti" pada parameter input dengan koefisien yang lebih besar, yang kemudian membatasi jumlah varians dalam model.  Meskipun ada sejumlah metode regularisasi, seperti regularisasi lasso, regresi ridge dan dropout, semuanya berusaha untuk mengidentifikasi dan mengurangi noise dalam data.
• Metode ansambel: Metode pembelajaran ansembel terdiri dari sekumpulan pengklasifikasi—misalnya decision trees—dan prediksi mereka digabungkan untuk mengidentifikasi hasil yang paling populer. Metode ansambel yang paling terkenal adalah mengantongi dan meningkatkan. Dalam bagging, sampel acak data dalam set pelatihan dipilih dengan penggantian—artinya, setiap titik data dapat dipilih lebih dari satu kali. Setelah beberapa sampel data dihasilkan, model-model ini kemudian dilatih secara independen, dan tergantung pada jenis tugas—yaitu Regresi atau klasifikasi—rata-rata atau sebagian besar prediksi tersebut menghasilkan perkiraan yang lebih akurat. Ini biasanya digunakan untuk mengurangi varians dalam kumpulan data yang bising.

Sementara di atas adalah definisi yang mapan tentang overfitting, penelitian terbaru (tautan berada di luar IBM) menunjukkan bahwa model kompleks, seperti model pembelajaran mendalam dan neural networks, bekerja pada akurasi tinggi meskipun dilatih untuk “menyesuaiakan atau menginterpolasi dengan tepat.” Temuan ini secara langsung bertentangan dengan literatur historis tentang topik ini, dan dijelaskan melalui kurva risiko "penurunan ganda" di bawah ini. Anda dapat melihat bahwa saat model belajar melewati ambang interpolasi, kinerja model meningkat. Metode yang kami sebutkan sebelumnya untuk menghindari overfitting, seperti penghentian dini dan regularisasi, sebenarnya dapat mencegah interpolasi.