Os ataques de protocolo têm como alvo a camada de rede (camada 3) e a camada de transporte (camada 4) do modelo OSI. Eles visam sobrecarregar os recursos críticos de rede, como firewalls, balanceadores de carga e servidores web, com solicitações de conexão maliciosas.
Ataques comuns de protocolo incluem:
Ataques de inundação SYN. Um ataque de inundação SYN aproveita a handshake de TCP, o processo pelo qual dois dispositivos estabelecem uma conexão entre si.
Em um handshake TCP típico, um dispositivo envia um pacote SYN para iniciar a conexão, o outro responde com um pacote SYN/ACK para reconhecer a solicitação e o dispositivo original envia de volta um pacote ACK para finalizar a conexão.
Em um ataque de inundação SYN, o invasor envia ao servidor de destino um grande número de pacotes SYN com endereços IP de origem falsificados. O servidor envia sua resposta ao endereço IP falsificado e aguarda o pacote ACK final. Como o endereço IP de origem foi falsificado, esses pacotes nunca chegam. O servidor fica preso a um grande número de conexões incompletas, deixando-o indisponível para handshakes TCP legítimos.
Ataques Smurf. Um ataque Smurf utiliza o Internet Control Message Protocol (ICMP), protocolo de comunicação utilizado para avaliar o status de uma conexão entre dois dispositivos. Em uma troca ICMP típica, um dispositivo envia uma solicitação de repetição ICMP para outro e este último dispositivo responde com um eco ICMP.
Em um ataque smurf, o invasor envia uma solicitação de repetição ICMP de um endereço IP falsificado que corresponde ao endereço IP da vítima. Essa solicitação de eco ICMP é enviada a uma rede de transmissão IP que encaminha a solicitação a todos os dispositivos de uma determinada rede. Todos os dispositivos que recebem a solicitação de eco ICMP, possivelmente centenas ou milhares de dispositivos, respondem enviando uma resposta de eco ICMP de volta ao endereço IP da vítima, inundando o dispositivo com mais informações do que ele é capaz de processar. Ao contrário de muitos outros tipos de ataques DDoS, os ataques smurf não exigem necessariamente uma botnet.