Metode deteksi berbasis anomali menggunakan kecerdasan buatan dan machine learning untuk membuat dan terus menyempurnakan model dasar aktivitas jaringan normal. IPS membandingkan aktivitas jaringan yang sedang berlangsung dengan model dan merespons ketika menemukan penyimpangan, seperti proses yang menggunakan bandwidth lebih besar dari biasanya atau perangkat yang membuka port yang biasanya ditutup.
Karena IPS berbasis anomali merespons perilaku abnormal apa pun, IPS ini sering kali dapat memblokir serangan siber baru yang mungkin menghindari deteksi berbasis tanda tangan. Mereka bahkan dapat mendeteksi eksploitasi zero-day—serangan yang memanfaatkan kerentanan perangkat lunak sebelum pengembang perangkat lunak mengetahuinya atau sempat menambalnya .
Namun, IPS berbasis anomali mungkin lebih rentan terhadap positif palsu. Bahkan aktivitas jinak, seperti pengguna resmi yang mengakses sumber daya jaringan yang sensitif untuk pertama kalinya, dapat memicu IPS berbasis anomali. Akibatnya, pengguna yang berwenang dapat dikeluarkan paksa dari jaringan atau alamat IP mereka diblokir.