Serangan protokol menargetkan lapisan jaringan (lapisan 3) dan lapisan transport (lapisan 4) dari model OSI. Mereka bertujuan untuk membanjiri sumber daya jaringan yang penting seperti firewall, penyeimbang beban, dan server web dengan permintaan koneksi berbahaya.
Dua jenis serangan protokol yang paling umum termasuk serangan SYN flood dan serangan smurf.
Serangan SYN flood memanfaatkan proses handshake/jabat tangan TCP, di mana dua perangkat menjalin koneksi satu sama lain. Handshake TCP yang khas memiliki tiga langkah:
- Satu perangkat mengirimkan paket sinkronisasi (SYN) untuk memulai koneksi.
- Perangkat lain merespons dengan paket sinkronisasi/pengesahan (SYN/ACK) untuk mengesahkan permintaan.
- Perangkat asli mengirimkan kembali paket ACK untuk menyelesaikan koneksi.
Dalam serangan SYN flood, penyerang mengirimkan sejumlah besar paket SYN ke server target dengan alamat IP sumber yang dipalsukan. Server merespons alamat IP palsu dan menunggu paket ACK terakhir. Karena alamat IP sumber dipalsukan, paket-paket ini tidak pernah tiba. Server terikat dalam sejumlah besar koneksi yang belum selesai, sehingga tidak tersedia untuk TCP handshake yang sah.
Serangan smurf memanfaatkan Internet Control Message Protocol (ICMP), protokol komunikasi yang digunakan untuk menilai status koneksi antara dua perangkat.
Dalam pertukaran ICMP yang umum, satu perangkat mengirimkan permintaan echo ICMP ke perangkat lain, dan perangkat yang terakhir merespons dengan balasan echo ICMP.
Dalam serangan smurf, penyerang mengirimkan permintaan echo ICMP dari alamat IP palsu yang cocok dengan alamat IP korban. Permintaan echo ICMP ini dikirim ke jaringan siaran IP yang meneruskan permintaan ke setiap perangkat di jaringan.
Setiap perangkat yang menerima permintaan echo ICMP—kemungkinan ratusan atau ribuan perangkat—merespons dengan mengirimkan balasan gema ICMP ke alamat IP korban. Volume respons yang besar melebihi kapasitas yang dapat ditangani perangkat korban. Bedanya dengan jenis serangan DDoS lainnya, serangan smurf tidak selalu memerlukan botnet.