Протокол Encapsulating Security Payload (ESP) обеспечивает конфиденциальность данных. Кроме того, он позволяет идентифицировать отправителя данных, а также обеспечить целостность данных и защиту от воспроизведения информации.
Отличие протокола ESP от протокола Authentication Header (AH) состоит в том, что ESP выполняет шифрование данных. При этом оба протокола обеспечивают идентификацию, проверку целостности и защиту от воспроизведения информации. При работе с ESP для шифрования и расшифровки данных обе конечные системы применяют общий ключ.
Если одновременно применяются средства шифрования и идентификации данных, то отвечающая система вначале идентифицирует пакет, а если идентификация выполнена успешно, то расшифровывает пакет. Такой способ обработки пакетов снижает нагрузку на систему и уменьшает риск взлома защиты с помощью атаки типа "отказ в обслуживании".
Протокол ESP может применяться двумя способами: в режиме открытой передачи и в режиме туннеля. В режиме открытой передачи заголовок ESP указывается после заголовка IP дейтаграммы. Если у дейтаграммы уже есть заголовок IPSec, то заголовок ESP помещается перед этим заголовком. Концевик ESP и идентификационные данные, если они есть, указываются после поля данных.
В режиме открытой передачи заголовок IP не идентифицируется и не зашифровывается. В этом случае адреса, указанные в заголовке, могут быть перехвачены во время передачи дейтаграммы по сети. Для обмена данными в режиме открытой передачи требуется меньше ресурсов, чем при работе в режиме туннеля. Однако такой режим обеспечивает более низкий уровень защиты. В большинстве случаев при работе с протоколом ESP применяется режим открытой передачи.
В режиме туннеля создается новый заголовок IP, который становится самым внешним заголовком дейтаграммы. После него помещается заголовок ESP, а затем - сама дейтаграмма (заголовок IP и данные). Концевик ESP и идентификационные данные, если они есть, добавляются в конец поля данных. Если одновременно применяются средства шифрования и идентификации, то ESP полностью защищает исходную дейтаграмму, так как эта дейтаграмма становится полем данных в новом пакете ESP. Новый заголовок IP не защищается. При установлении соединения между шлюзами следует применять ESP в режиме туннеля.
В протоколе ESP применяется симметричный ключ, с помощью которого
данные зашифровываются и расшифровываются конечными системами. Перед
обменом данными отправитель и получатель должны согласовать ключ,
который они будут применять. Функция VPN поддерживает способы шифрования DES, тройной DES (3DES), AES,
AES-CBC
и AES-CTR
.
При использовании алгоритма шифрования AES можно включить Расширенный порядковый номер (ESN). ESN позволяет передавать большие объемы данных с высокой скоростью. Соединение VPN применяет 64-битовые порядковые номера вместо 32-битовых номеров над IPSec. Использование 64-битовых порядковых номеров увеличивает период времени до смены ключа, что предотвращает окончание пула порядковых номеров и снижает расход системных ресурсов.
Internet Engineering Task Force (IETF) формально определяет алгоритмы в следующих документах RFC:
AES-CTR в документе RFC 3686, Using Advanced Encryption Standard (AES) Counter
Mode with IPSec Encapsulating Security Payload (ESP) 
Эти и другие документы RFC можно найти в Internet на следующем Web-сайте: http://www.rfc-editor.org.
ESP использует алгоритмы HMAC-MD5, HMAC-SHA,
HMAC-SHA-256
, HMAC-SHA-384, HMAC-SHA-512
и AES-XCBC-MAC для предоставления
функций идентификации. Каждый из алгоритмов получает на входе данные переменной длины и личный ключ, а на
их основе создают данные фиксированной длины (значение MAC или хэш-функции). Если значения хэш-функции,
вычисленные для двух сообщений, совпадают, то с высокой вероятностью эти сообщения одинаковые.
Internet Engineering Task Force (IETF) формально определяет алгоритмы в следующих документах RFC:
,HMAC-SHA-384 и HMAC-SHA-512
в RFC 4868, Using HMAC-SHA-256, HMAC-SHA-384, and HMAC-SHA-512 with IPsecЭти документы RFC можно найти в Internet на следующем веб-сайте: http://www.rfc-editor.org.
ESP использует AES-CCM и AES-GCM для предоставления
шифрования и идентификации. Алгоритм идентификации не может быть выбран, если выбран один из
"комбинированных" алгоритмов. 
ESP использует AES-GMAC (Galios Message Authentication
Code) для идентификации, но не шифрования. 