Достижение максимальной экономии благодаря использованию DAOS в IBM Lotus Notes и Lotus Domino 8.5

В этой статье обсуждаются различные функции IBMВ® Lotus Notes® и IBM Lotus® Domino® 8.5, которые можно использовать для сокращения общих затрат на серверную систему хранения данных для Lotus Domino. Мы показываем также, что эта экономия выходит за пределы системы хранения данных. Мы приводим практические примеры реализации этих функций в домене Lotus Domino и показываем, какой значительный эффект принесла реализация DAOS в самой IBM. Мы демонстрируем также, как получить информацию по экономии с помощью инструмента DAOS Estimator.

Андреа Вог-Мецгер, популяризатор средств коллективной работы, IBM

Андреа Вог-Мецгер (Andrea Waugh-Metzger)является проповедником коллективной работы (Collaboration Evangelist) и экспертом по разработке продуктов WPLC в IBM. С 2006 года она в разных качествах работает с технологиями Lotus Notes и Lotus Domino. Последние два года занималась тем, что помогала заказчикам понять, как им решить проблемы, вызванные разрозненностью работников, и повысить производительность труда с помощью Lotus Notes и Lotus Domino, а также инструментов на основе социальных сетей. С ней можно связаться по адресу: andrea_waughmetzger@us.ibm.com.



Гэри Раум, ведущий архитектор, IBM

Гэри Раум (Gary Rheaume)- ведущий архитектор IBM Lotus Domino attachment and object services (DAOS). Имеет богатый опыт в области программирования, технологий хранения данных и приложений баз данных. Когда он не занимается выискиванием и исключением лишних операций ввода-вывода, Гэри проводит время со своей семьей и играет на гитаре или аккордеоне. С ним можно связаться по адресу: rheaume@us.ibm.com.



Патрик Манкузо, главный архитектор и разработчик, IBM

Патрик Манкузо (Patrick Mancuso) окончил Университет штата Пенсильвания в 1984 году по специальности "Вычислительная техника" и начал работать в IBM. Спустя несколько лет он перешел в компанию Lotus Software Development, где работал над несколькими проектами 1-2-3, а также NotesPump/LEI, DECS, Domino/DB2 и Domino. С недавних пор он работает архитектором и разработчиком компонента DAOS IBM Lotus Domino. С ним можно связаться по адресу: patrick_mancuso@us.ibm.com.



21.08.2009

Примечание для редактора: Эта тема вам хорошо знакома? Желаете поделиться своим опытом? Примите участие в программе вики по IBM Lotus.

Введение

Версии сервера Lotus Domino 8.0 и 8.5 ориентированы на усовершенствование всей системы хранения данных. Эти версии включают технологию, которая позволяет значительно уменьшить общую стоимость владения (ТСО) для среды Lotus Domino. В этой версии разработчики Lotus обратили особое внимание на то, что часто играет важную роль для уменьшения ТСО: дисковое пространство, стоимость хранения данных, операции ввода-вывода и стоимость текущей эксплуатации.

Эти новые усовершенствования в Lotus Domino 8.0 и 8.5 могут уменьшить общую стоимость владения несколькими способами:

  1. Меньше байтов записывается на диск. Пользователи могут достичь гигантской экономии дискового пространства при сохранении того же уровня обслуживания и выполняя ту же работу при меньшем количестве дисков на своих серверах.
  2. Меньше дисковых операций ввода-вывода. Кроме записи меньшего количества данных (см. предыдущий пункт), некоторые операции с дисками в отдельных случаях можно вообще исключить.
  3. Вложения переносятся в отдельную систему хранения данных. Вложения – это типичные кандидаты на использование более дешевой дисковой памяти.
  4. Усовершенствования в области текущего технического обслуживания. Хотя среда Lotus Domino обычно имеет низкую стоимость эксплуатации, усовершенствования в области резервного копирования, хранения и администрирования создают возможности для еще большего ее снижения благодаря следующим факторам:
    • Уменьшение общего объема данных, что уменьшает стоимость резервного копирования
    • Сокращение времени резервного копирования, так как отдельное пространство хранения данных, используемое для вложений, может копироваться инкрементно
    • Уменьшение времени восстановления представлений (view)
    • Уменьшение времени дефрагментации (compact) баз данных Lotus Notes

Прежде чем начать рассказ о том, как использовать эти усовершенствования в конкретной среде Lotus Domino, давайте убедимся, что вы хорошо знакомы с компонентами, составляющими базу данных Lotus Notes. База данных Lotus Notes состоит из элементов нескольких типов. В их числе:

  • Элементы структуры. Элементы, которые отображаются в Lotus Domino Designer: формы, представления, агенты и т.п. Эти элементы обычно имеют фиксированный размер, но этот размер может быть значительным (например, шаблон Lotus Notes 8.5 Mail занимает почти 30 МБ).
  • Представления. Lotus Domino хранит данные в представлениях, например, представление для входящей корреспонденции, как отдельный элемент базы данных Lotus Notes. Если база данных имеет много представлений, особенно представлений с заголовками сортируемых столбцов, такая структура может использовать существенное количество дискового пространства.
  • Документы. Этот элемент включает, например, тело почтового сообщения.
  • Вложения.

Новые усовершенствования в Lotus Domino 8.0 и 8.5 прямо связаны с этими элементами. В следующих разделах мы поможем вам понять суть каждого из этих усовершенствований и покажем, как их использовать, чтобы достичь максимальной экономии пространства памяти в среде Lotus Domino.


Новые возможности экономии дискового пространства в Lotus Domino 8.0 и 8.5

Как уже говорилось, в базе данных Lotus Notes существует четыре главных элемента, способных повлиять на общий объем используемого дискового пространства сервера Lotus Domino: элементы структуры, элементы, связанные с представлениями, данные документов и вложения. Lotus Domino 8.0 и 8.5 содержат усовершенствования, направленные непосредственно на эти четыре элемента.

Сжатие структуры базы данных

Элементы структуры определяют представления и формы, которые используются базой данных и логикой базы данных, правилами проверки, агентами, скриптами LotusScript и т.п. Несмотря на то, что Lotus Domino может отделять элементы структуры от отдельных баз данных Lotus с помощью функции Single Copy Template, многие пользователи предпочитают включать их в каждую копию базы данных (что также делается и по умолчанию). Этот подход делает базу данных самодостаточной и облегчает управление. Количество пространства, занимаемого элементами структуры базы данных, зависит от сложности приложения, но может быть значительным.

Компрессия структуры базы данных уменьшает пространство, необходимое для хранения этих элементов. Это дает фиксированную экономию на каждую базу данных. Например, почтовый шаблон Lotus Notes 8.5 использует почти 30 МБ дискового пространства для каждого файла. С помощью функции компрессии структуры этот параметр можно уменьшить до 11 МБ, что дает экономию почти 19 МБ на один почтовый файл. Для этой функции требуется ODS 48, и она разрешена через свойства базы данных. Эта функция доступна как для клиентов, так и для серверов; она может также помочь ослабить ограничение квот.

Рисунок 1. Усовершенствованные свойства – разрешение компрессии структуры
Усовершенствованные свойства – разрешение компрессии структуры

Оптимизация представлений

Каждое представление в базе данных Lotus Notes хранит краткое содержание соответствующих документов, что позволяет пользователям быстро и легко находить документы. Например, представление Inbox в файле электронной почты позволяет быстро находить полученные сообщения. Кроме того, дизайнер представлений Lotus Notes может повысить его полезность, разрешив пользователям сортировать представления по разным столбцам. Опять же, если взять пример с представлением Inbox, то оно позволяет сортировать письма по отправителю, теме, дате, размеру и т.п. Для каждого из этих сортируемых столбцов Lotus Notes строит зависящий от языка индекс сортировки. Эти индексы занимают место на диске и ресурсы процессора сервера во время своей перестройки.

В Lotus Domino 8.0 для каждого сортируемого столбца в представлении можно указать, чтобы индекс сортировки не перестраивался до тех пор, пока он не понадобится, и что если он не используется, то по истечении определенного времени его можно удалить. Для этой функции требуется ODS 48, и ее разрешает разработчик представления с использованием свойств столбцов базы данных. Эта функция доступна как для клиентов, так и для серверов; она может также помочь ослабить ограничение квот. Эта функция показана на рисунке 2

Рисунок 2. Свойства представления столбцов – отложенное создание индекса до первого использования
Свойства представления столбцов – отложенное создание индекса до первого использования

Компрессия данных документов

Документы – это фактическое содержание большинства приложений, например, сообщения электронной почты. Компрессия документов уменьшает пространство, необходимое для хранения данных приложения. Эта функция появилась в Lotus Notes и Domino версии 8.0.1 и также требует ODS 48. Она разрешается свойством базы данных, доступна как для клиентов, так и для серверов и обеспечивает облегчение ограничения квот. См. рисунок 3.

Рисунок 3. Усовершенствованные свойства – разрешение документов
Усовершенствованные свойства – разрешение документов

Вложения Lotus Domino и службы объектов

Последняя новая функция, которую мы здесь обсудим и которая появилась в Lotus Domino 8.5, это вложения Lotus Domino и службы объектов (Lotus Domino attachment and object services - DAOS). Сервер Lotus Domino использует DAOS для экономии значительного пространства на уровне файлов, обобщая данные, идентифицируемые как идентичные, между базами данных (приложениями) на одном и том же сервере. Вложенные документы – это первые компоненты, для которых в Lotus Domino используется функция DAOS.

В базах данных, использующих DAOS, Lotus Domino больше не хранит вложения внутри самих документов. Вместо этого сервер с поддержкой DAOS использует единственную копию вложения в репозитории DAOS и заменяет вложение ссылкой на этот объект DAOS. Если вложение существует в нескольких базах данных, оно сохраняется только один раз на каждый сегмент сервера, а затем множится число ссылок. Таким образом, когда вложенный файл передается нескольким пользователям одного и того же сервера, используемое дисковое пространство значительно уменьшается. Сколь ни впечатляющей может быть экономия дискового пространства, с DAOS связан еще больший потенциал сокращения расходов. DAOS может хранить вложения на устройствах, отдельных от самих баз данных Lotus Notes. В нашем собственном внутреннем тесте на производительность системы email DAOS занимала менее 2% от всего объема операций ввода-вывода (см. приведенный ниже пример из реальной практики). Благодаря этому разделению DAOS может использовать более дешевые диски без ущерба для общего времени отклика.

Важно также отметить, что консолидация вложений не ограничена почтовыми базами данных; она работает с любой базой данных Lotus Notes на сервере с поддержкой DAOS. Для этой функции требуется ODS 51 (Lotus Domino 8.5), и она разрешена через свойства базы данных. Эта функция, показанная на рисунке 4, доступна только на серверах.

Рисунок 4. Усовершенствованные свойства – разрешение DAOS
Усовершенствованные свойства – разрешение DAOS

Пример из реальной практики

Еще до выпуска золотого диска Lotus Domino 8.5 описанные функции экономии дискового пространства были реализованы в двух доменах IBM. Эта реализация была выполнена так, чтобы разработчики могли лучше понять, как работают эти функции, и собрать некоторые параметры производительности по отдельным реально эксплуатируемым установкам Lotus Domino. В следующих разделах приводятся примеры внедрения и документированные положительные результаты, которые были достигнуты.

Реализация в домене IBM

IBM Global Services (IGS) эксплуатирует основные домены Lotus Domino в IBM. Эта реализация состоит из 18 доменов Lotus и более 1000 серверов во всем мире приблизительно с 500 тыс. пользователей. Чтобы проверить влияние экономии дискового пространства в этом домене, было выполнено три теста. Эти тесты и их результаты описаны ниже.

Тест 1: Выделенный почтовый сервер IBM Research.

Первый сервер, который был протестирован, это почтовый сервер Lotus Domino, принадлежащий отделению IBMResearch. Этот сервер содержит 112 активных почтовых файлов пользователей и работает на IBM AIX 5.3.7.7 в 64-битном режиме. До целей обновления или разрешения каких-либо перечисленных выше функций этот сервер содержал 65,9 ГБ данных NSF в каталоге данных Lotus Domino.

После обновления этого сервера на Lotus Domino 8.5 и разрешения DAOS были достигнуты результаты, приведенные в таблице 1.

Таблица 1. Результаты выделенного почтового сервера IBM Research.
ХарактеристикаРезультат
Данные NSF в каталоге данных23,9 ГБ
Данные NLO в DAOS25,3 ГБ
Размер каталога данных63%-е сокращение дискового пространства
Общий размер25%-сокращение используемого дискового пространства
Операции ввода-вывода Сокращение в среднем на 8% на том ввода-вывода
Среднее число операций ввода-вывода в секунду увеличилось на 1%
Относительные скорости ввода-вывода 1,3% операций ввода-вывода приходится на диск DAOS

Тест 2: Сервер приложений Lotus Domino

Как упоминалось выше, преимущества DAOS не ограничиваются почтовыми файлами. Поэтому вторым тестируемым сервером был сервер приложений Lotus Domino, также используемый отделением IBM Research. Эта система работает на MicrosoftВ® Windows 2003 в 32-битном режиме с 17,29 ГБ данных приложений в каталоге Lotus Domino до реализации DAOS.

После обновления этого сервера на Lotus Domino 8.5 и разрешения DAOS были достигнуты результаты, приведенные в таблице 2.

Таблица 2. Результаты для сервера приложений Lotus Domino
ХарактеристикаРезультат
Данные NSF в каталоге данных9,85 ГБ
Данные NLO в DAOS5,28 ГБ
Размер каталога данных43%-е сокращение дискового пространства
Общий размер12%-сокращение используемого дискового пространства
Операции ввода-вывода Не измерялись
Относительные скорости ввода-вывода Не измерялись

Тест 3: Почтовый сервер Lotus Domino

Третий тест также выполнялся на почтовом сервере, эксплуатируемом IBM Global Services, но с более активными почтовыми файлами пользователей, не связанных с IBM Research. Поэтому данный сервер гораздо ближе к типичному почтовому серверу. Эта система работает на AIX 5.3.7.7 в 64-битном режиме с 70,9 ГБ данных в каталоге данных Lotus Domino.

После обновления этого сервера на Lotus Domino 8.5 и разрешения DAOS были достигнуты результаты, приведенные в таблице 3.

Таблица 3. Результаты для почтового сервера Lotus Domino
ХарактеристикаРезультат
Данные NSF в каталоге данных40,3 ГБ
Данные NLO в DAOS15,4 ГБ
Размер каталога данных43%-е сокращение дискового пространства
Общий размер21,5%-сокращение используемого дискового пространства
Операции ввода-вывода Сокращение в среднем на 12,99% на каждый том ввода-вывода
Среднее число операций ввода-вывода в секунду увеличилось на 16%
Относительные скорости ввода-вывода Не измерялись

Реализация бизнес-партнера

Последний документ, содержащий данные первоначального тестирования, относится к бизнес-партнеру IBM. Целевой сервер для этого теста содержал файлы архивов электронной почты всей компании. Активные почтовые файлы хранились на главном сервере, а старые документы были переведены в почтовые архивы на выделенный сервер архива. Хотя пользователи мало работают с этими архивами напрямую, объем содержащихся в нем данных очень велик.

В этом тесте DAOS была разрешена для выборки из 89 файлов почтовых архивов. Эта система работает на IBM OS 400В®-V5R4M0 с 87,3 ГБ данных в каталоге данных Lotus Domino.

После обновления этого сервера на Lotus Domino 8.5 и разрешения DAOS были достигнуты результаты, приведенные в таблице 4.

Таблица 4. Результаты для сервера почтовых архивов
ХарактеристикаРезультат
Данные NSF в каталоге данных16,9 ГБ
Данные NLO в DAOS334,6 ГБ
Размер каталога данных80%-е сокращение дискового пространства
Общий размер41%-сокращение используемого дискового пространства
Операции ввода-вывода Не измерялись
Относительные скорости ввода-вывода Не измерялись

Цифры, приведенные в табл.4, представляют только выборку из рабочих данных бизнес-партнера IBM. Размер текущего файла архивов превышает 25 ТБ. Если экстраполировать 41%-е сокращение общего дискового пространства на весь этот архив, то получится, что только DAOS может сэкономить им свыше 10 Тбайт дискового пространства. Кроме того, 80%-е сокращение размера каталога данных может значительно уменьшить объем резервного копирования и ускорить этот процесс.

Наблюдения

Как видно из этих примеров, DAOS может значительно уменьшить размер каталога данных, а во многих случаях и общий размер дискового пространства. Во многих сценариях DAOS может использовать более дешевые устройства хранения данных, что значительно снизит расходы на хранение данных. Важно также отметить, что в тестах 1 и 2 после включения DAOS было достигнута экономия операций ввода-вывода на диски. Так как у многих заказчиков ввод-вывод на диски является ограничивающим фактором для производительности сервера Lotus Domino, это сокращение числа операций ввода-вывода имеет важное значение.

Чтобы продемонстрировать, какую выгоду может принести DAOS, еще до его включения, можно воспользоваться инструментом DAOS Estimator, демонстрирующим общую экономию по всем серверам домена. При выполнении этого инструмента для всего домена серверов Lotus Domino IBM мы получили результаты, приведенные в таблице 5.

Таблица 5. Результаты выполнения инструмента оценки DAOS
ХарактеристикаРезультат
Данные NSF в каталоге данных до сравнения Данные NSF в каталоге данных после сравнения Общая экономия только от компрессии131,6 ГБ
87,9 ГБ
43,7 ГБ, или 33,2%
Данные NLO в каталоге данных до DAOS Данные NLO в DAOS Общая экономия от DAOS38,4 ГБ
30,2 ГБ
19,3 ГБ, или 14,7%
Общий размер каталога данныхСокращение на 70,8%
Общее занимаемое пространствоСокращение на 47,8%

Как следует из этих результатов, IBM Global Services может рассчитывать на сказочную экономию общей емкости дискового пространства в домене IBM. Разрешив компрессию и DAOS во всем домене, можно значительно уменьшить емкость системы хранения данных уровня 1 и сократить тома резервного копирования и другие операции сервера.


Влияние на другие операции

Но если функции экономии дискового пространства в Lotus Domino 85 обеспечивают такую значительную экономию, не делают ли они это в ущерб другим серверам Lotus Domino? Например, как это влияет на функции резервного копирования и восстановления? Как влияет на операции ввода-вывода дисков или процессора? Нужно ли вносить какие-либо изменения в функции или методы администрирования? Всё это важные вопросы, и, к счастью, хотя эти функции значительно сокращают объем дискового пространства, за них не приходится платить высокую цену. В дальнейшем обсуждении мы сосредоточимся на двух главных вопросах, которые задает большинство наших заказчиков: о резервном копировании и об операционных изменениях

Резервное копирование

При реализации DAOS в среде Lotus Domino можно внести изменения в конфигурации резервного копирования и частоту резервных копий. DAOS уменьшает размер тома данных NSF, к тому же можно получить экономию в количестве томов и времени резервного копирования. Например, в домене IBM после реализации DAOS объем занимаемого дискового пространства уменьшился с 64 ГБ до 23 ГБ, так что экономия составила 64%. В результате общий объем томов резервного копирования этого сервера (данные NSF и NLO) уменьшился с 64 ГБ до 25 ГБ, так что общая экономия составила около 61%. Таким образом, IBM смогла изменить требования по времени резервного копирования и емкости с учетом уменьшения объема.

Конечно, общее уменьшение объема данных резервного копирования в вашей среде будет зависеть от числа уникальных вложений в репозитории DAOS. Это число может меняться в зависимости от степени использования вложений в системе.

Пример приведен в таблице 6. В ней показано, как продолжительность резервного копирования одного сервера в домене IBM менялась в процессе реализации DAOS в этой среде. После полной реализации DAOS время резервного копирования существенно сократилось. Резервное копирование требовалось только для новых вложений, примерно 300 МБ в день. Отсюда видно, что IBM перешла от резервного копирования, которое занимало 154 мин. в неделю на каждый том NSF, к резервному копированию за 36 минут в неделю на том NSF, плюс 0,75 мин в день для данных NLO. Это значительная экономия времени, требуемого для получения резервной копии системы.

Таблица 6. Сокращение объема и времени резервного копирования в результате реализации DAOS
Сокращение объема и времени резервного копирования в результате реализации DAOS

Операционные изменения

Реализация экономии дискового пространства, о которой говорится в этой статье, может также привести к изменениям в графиках технического обслуживания серверов и в режиме их эксплуатации в целом. Как известно, размер файлов NSF влияет на такие операции сервера, как compact и fixup. Меньшие базы данных Lotus Notes уменьшают время, требуемое для решения этих задач, и следовательно могут уменьшить время, а возможно даже и частоту выполнения операций по техническому обслуживанию серверов.

Например, операции compact действуют как дефрагментация дисков для файлов NSF. В Lotus Domino в результате выполнения алгоритма, используемого при операции compact, сервер непрерывно перемещает крупные компоненты (такие как вложения) в конец NSF, заполняя высвобождающееся пространство более мелкими компонентами. Этот процесс повторяется для каждого крупного и мелкого компонента NSF. После того как все промежутки заполнены, программа опять помещает более крупные компоненты в конец. Этот процесс может привести к тому, что крупные компоненты будут перемещаться много раз, что увеличивает время, необходимое для выполнения операции compact над большим файлом NSF. Когда эти крупные компоненты перенесены из NSF в DAOS, операции compact больше не приходится с ними работать, и она занимает меньше времени.


Заключение

Как видно из приведенных примеров и как следует из возможности использовать новые функции сервера Lotus Domino 8.5, с их помощью в среде Lotus Domino можно получить значительную экономию. Реализация трех главных функций, которые мы здесь описали, компрессия структуры, компрессия документа и DAOS, может существенно повлиять на требования к дисковому пространству и общие эксплуатационные расходы.

Еще одно преимущество, которое мы здесь не акцентировали, это возможность перемещать сегменты дисковой памяти на более дешевые устройства. Например, в прошлом в рекомендациях по системе хранения данных для базы данных Lotus Domino говорилось, что данные Lotus Domino надо хранить в высококачественных системах хранения данных с максимально возможным числом процессоров ввода-вывода из-за частоты доступа к данным и требований по вводу-выводу при работе с большими файлы электронной почты. Однако с DAOS можно переместить хранилище вложений на более дешевую дисковую систему, сэкономив расходы на инфраструктуру благодаря тому, что к вложениям, как правило, обращаются нечасто, и для доступа к ним не требуется тяжелых операций ввода-вывода.

Другое преимущество вытекает из скорости ввода-вывода дисков DAOS, так как на них распространяются общие требования по вводу-выводу для сервера Lotus Domino. У многих заказчиков высокие скорости ввода-вывода, и этот параметр служит для них ограничением ввиду больших размеров файлов электронной почты. Когда вложения вынесены из хранилищ NSF, требуемые скорости ввода-вывода снижаются, и вы можете заметить, что относительное требование скорости ввода-вывода для DAOS значительно ниже, что оставляет больше ресурсов ввода-вывода для баз данных Lotus Domino.

Экономия, которую можно получить в вашей среде Lotus Domino, вполне реальна. Мы в IBM смогли сэкономить значительное дисковое пространство и время технического обслуживания. Воспользуйтесь инструментом DAOS Estimator, и вы сможете оценить свою собственную экономию.

Ресурсы

Научиться

Получить продукты и технологии

Обсудить

Комментарии

developerWorks: Войти

Обязательные поля отмечены звездочкой (*).


Нужен IBM ID?
Забыли Ваш IBM ID?


Забыли Ваш пароль?
Изменить пароль

Нажимая Отправить, Вы принимаете Условия использования developerWorks.

 


Профиль создается, когда вы первый раз заходите в developerWorks. Информация в вашем профиле (имя, страна / регион, название компании) отображается для всех пользователей и будет сопровождать любой опубликованный вами контент пока вы специально не укажите скрыть название вашей компании. Вы можете обновить ваш IBM аккаунт в любое время.

Вся введенная информация защищена.

Выберите имя, которое будет отображаться на экране



При первом входе в developerWorks для Вас будет создан профиль и Вам нужно будет выбрать Отображаемое имя. Оно будет выводиться рядом с контентом, опубликованным Вами в developerWorks.

Отображаемое имя должно иметь длину от 3 символов до 31 символа. Ваше Имя в системе должно быть уникальным. В качестве имени по соображениям приватности нельзя использовать контактный e-mail.

Обязательные поля отмечены звездочкой (*).

(Отображаемое имя должно иметь длину от 3 символов до 31 символа.)

Нажимая Отправить, Вы принимаете Условия использования developerWorks.

 


Вся введенная информация защищена.


static.content.url=http://www.ibm.com/developerworks/js/artrating/
SITE_ID=40
Zone=Lotus
ArticleID=422432
ArticleTitle=Достижение максимальной экономии благодаря использованию DAOS в IBM Lotus Notes и Lotus Domino 8.5
publish-date=08212009