Применение инструментов Optim Data для максимально эффективного использования BLU Acceleration

BLU Acceleration — это впечатляющая новая функция IBM® DB2® 10.5, позволяющая существенно увеличить производительность сложных аналитических рабочих нагрузок. Рабочие нагрузки начинают работать быстрее без дополнительной настройки. В основе этой новой технологии лежит организованный по столбцам формат пользовательских таблиц. Таблицы нового формата легко создаются, загружаются и поддерживаются благодаря отсутствию необходимости индексации или настройки таблиц материализованных запросов (MQT). Эта статья познакомит вас с тремя сценариями, которые показывают, как использовать Data Studio и IBM® InfoSphere® Optim™ Query Workload Tuner (OQWT) с новой функцией BLU Acceleration.

Лоик Жульен, архитектор ПО, IBM

Loic JulienЛоик Жульен (Loic Julien) — старший инженер-программист IBM. В настоящее время работает над архитектурой всех основных компонентов IBM Data Studio. Ранее Лоик принимал участие в разработке продуктов InfoSphere Data Architect, Rational XDE и Rational Rose. Имеет степень магистра университета штата в Сан-Хосе в области вычислений в среде клиент-сервер.



Даниель Зилио, старший разработчик ПО, IBM

Author photo of Daniel ZilioДаниэль Зилио (Daniel Zilio) — старший разработчик ПО группы IBM InfoSphere Optim Query Workload Tuner. Ранее работал в группах IBM DB2 Linux, UNIX и Windows Optimizer и Autonomic Computing. Также ему приходилось заниматься алгоритмами разработки БД, функцией Explain для SQL-запросов, моделированием БД, самонастраиваемым управлением памятью, проектированием XML, автоматическим сбором статистики, советником по витринам данных, советником по статистическому представлению рабочих нагрузок, сбором реальных параметров, советником по индексам для рабочих нагрузок, советником по организации таблиц рабочих нагрузок, сравнением планов доступа и многовариантным причинно-следственным анализом.



Лейла Йоханнесен, инженер по пользовательскому интерфейсу, IBM

Leila Johannesen photoЛейла Йоханнесен (Leila Johannesen) — обладатель степени PhD, инженер по пользовательскому интерфейсу в IBM Silicon Valley Lab. Она работает над обеспечением удобства использования продуктов, предназначенных для управления информацией. С недавнего времени занимается инструментами Optim Data и системой IBM PureApplication.



14.11.2013

Обзор

IBM Data Studio 4.1 предоставляет удобные функции графического интерфейса для использования BLU Acceleration, преобразования существующих таблиц и определения таблиц, которые необходимо преобразовать в организованный по столбцам формат. Вы можете использовать BLU Acceleration во всех таблицах для рабочих нагрузок, выполняющих глубокие аналитические запросы. Если ваши рабочие нагрузки являются смешанными, то инструмент Workload Table Organization Advisor в OQWT 4.1, входящий в комплект поставки IBM Data Studio 4.1, может выполнить анализ вашей рабочей нагрузки и дать рекомендации о том, как использовать новую технологию применительно к определенным таблицам.

Взаимодействие инструментов Optim Data

Другие продукты пакета Optim предоставляют синергетические возможности для BLU. Например, вы можете использовать InfoSphere Optim Query Capture Replay (IOQCR) для регистрации рабочих нагрузок, анализируемых в OQWT. Кроме того, можно использовать Optim Performance Manager для мониторинга производительности рабочей нагрузки.

Эта статья показывает, как применять IBM Data Studio для максимально эффективного использования BLU Acceleration. Мы описываем здесь три сценария:

  • определение таблиц для преобразования в организованный по столбцам формат;
  • преобразование таблиц в организованный по столбцам формат;
  • создание новой организованной по столбцам таблицы.

Предварительные условия

Указанные сценарии предполагают применение следующих версий продуктов:

  • DB2® для Linux®, UNIX® и Windows® 10.5
  • IBM Data Studio 4.1
  • InfoSphere Optim Query Workload Tuner 4.1

Настройка и включение BLU Acceleration

Прежде всего необходимо настроить BLU Acceleration. Для этого в Data Studio нужно выбрать пункт меню Configure BLU Acceleration (настройка BLU Acceleration) для конкретной базы данных. (Этот пункт меню присутствует только в базах данных версии 10.5 и выше). См. рисунок 1:

Рисунок 1. Настройка BLU Acceleration
Figure shows the Configure BLU Acceleration menu item.

Выбор этого пункта меню открывает показанный на рисунке 2 редактор, в котором можно исполнить команду db2set DB2_WORKLOAD=ANALYTICS, включающую автоматическое управление рабочей нагрузкой:

Рисунок 2. Настройка автоматического управления рабочей нагрузкой
This fgure explains setting up automatic workload management

Кроме того, установка для параметра DB2_WORKLOAD значения ANALYTICS определяет стандартный тип новой таблицы в базе данных. Этот стандартный тип создается на основе нового конфигурационного параметра базы данных DFT_TABLE_ORG. Дополнительная информация об этом конфигурационном параметре приведена в разделе Настройка стандартной организации таблицы для базы данных.

Если в качестве метода исполнения (Run method) выбрать процессор командной строки (Command Line Processor), как показано на рисунке 2, то для исполнения команд в удаленной системе потребуется сервер SSH. (Начиная с версии Data Studio 4.1, рекомендуется использовать IBM SSH Server).


Сценарий 1: определение таблиц для преобразования в организованный по столбцам формат

Преобразование таблиц, используемых аналитической рабочей нагрузкой, в новый организованный по столбцам формат позволяет повысить производительность. При работе со смешанными рабочими нагрузками необходимо выяснить, какие именно таблицы необходимо преобразовать и какой прирост производительности это даст. Сценарий показывает, как использовать OQWT в этих целях.

Описание процедуры

  1. Запуск настройки

    Выберите нужное соединение с базой данных из OQWT и щелкните по Analyze and Tune (анализ и настройка), а затем по Start Tuning (начать настройку), как показано на рисунке 3:

    Рисунок 3. Запуск анализа в Query Tuner
    Figure shows the Start Query Tuning menu item.

    Откроется ассистент тюнера рабочей нагрузки Query Tuner Workflow Assistant, как показано на рисунке 4:

    Рисунок 4. Окно Query Tuner Workflow Assistant Capture для сбора операторов из кэша пакетов
    Figure shows the Query Tuner Workflow Assistant Capture view for capturing statements from the package cache
  2. Сбор рабочей нагрузки

    Рабочую нагрузку можно собирать из разных источников, таких как кэш пакетов, процедуры SQL и репозиторий Optim Performance Manager. В данном сценарии мы собираем рабочую нагрузку в кэше пакетов. Вы можете отфильтровать группу операторов из кэша пакетов, как показано на рисунке 4. Кроме того, имеется возможность установки нескольких фильтров, например, для выбора операторов, исполняемых дольше определенного времени (в секундах) или для сбора операторов, оцениваемое время работы которых превысит определенное число срабатываний таймера.

    В данном примере выбран фильтр Default_all, который собирает все операторы. Щелчок по Capture Now (собрать) показывает результаты сбора рабочей нагрузки (см. рисунок 5). Группу операторов для соединения с базой данных можно сохранить с уникальным именем рабочей нагрузки, щелкнув по Save All to Workload... (сохранить все в рабочую нагрузку).

    Рисунок 5. Результат сбора операторов из кэша пакетов
    Figure shows the results of capturing statements from the package cache
  3. Вызов Workload Table Organization Advisor (советника по организации таблицы рабочей нагрузки)

    После сохранения рабочей нагрузки можно перейти в окно Manage (управление), щелкнуть правой кнопкой по рабочей нагрузке и выбрать пункт меню Invoke Workload Advisors and Tools (вызов советников и инструментов для рабочей нагрузки), как показано на рисунке 6. (Также можно выбрать рабочую нагрузку и щелкнуть по Invoke Advisors (вызвать советников)).

    Рисунок 6. Вызов советников для указанной рабочей нагрузки в окне Manage
    Figure shows invoking the workload advisors from the workload name in the Manage view

    Откроется окно Invoke (вызов). В расположенной слева секции Workload (рабочая нагрузка) можно выбрать опцию Run the Workload Advisors (запустить советников рабочей нагрузки), как показано на рисунке 7. Затем, щелкнув по Select What to Run... (выбор запускаемого объекта), откройте диалоговое окно Select Activities (выбор операций) и установите флажок Table Organization (организация таблицы). В результате запустится Workload Table Organization Advisor, который даст рекомендации о том, какие таблицы следует преобразовать в организованный по столбцам формат.

    Передовая практика

    Прежде чем следовать рекомендациям по организации таблиц, выполните статистический анализ и реализуйте его рекомендации. Применив рекомендации, можно снова запустить советника статистики и убедиться в актуальности статистических данных после преобразования.

    Обратите внимание, что некоторые категории рекомендаций (называемые «советниками») при выборе пункта Table organization отключены. Некоторые советники нельзя запускать одновременно, поскольку их рекомендации могут конфликтовать друг с другом. Например, советника индексирования нельзя запускать одновременно с советником по организации таблицы рабочей нагрузки, поскольку таблица, рекомендуемая для преобразования в организованный по столбцам формат, не может содержать индексов.

    Рисунок 7. Вызов Workload Table Organization Advisor
    Figure shows invoking the Workload Table Organization Advisor

    Для выработки рекомендаций советник Workload Table Organization Advisor отфильтровывает таблицы, которые не отвечают требованиям организованного по столбцам формата, такие как таблицы со столбцами LOB. Для оставшихся таблиц рабочей нагрузки советник виртуально преобразует таблицы в организованный по столбцам формат и использует эти виртуальные таблицы для оценки затрат операторов рабочей нагрузки в DB2 Linux, UNIX и Windows Optimizer. Эта оценка затрат сравнивается с ростом производительности от применения организованного по строкам формата, в результате чего формируется оценочное значение роста производительности рабочей нагрузки.

    Советник выбирает подгруппу таблиц, виртуальное преобразование которых приводит к увеличению производительности выше определенного порогового значения, по умолчанию равного 30 %. Это пороговое значение можно изменить, выбрав показанный на рисунке 7 пункт Set Advisor Options (настройка советника) и изменив значение Minimum threshold for estimated performance improvement (минимальный порог улучшения производительности) на вкладке Table Organization Advisor, как показано на рисунке 8:

    Рисунок 8. Изменение порога минимального улучшения производительности для Workload Table Organization Advisor
    Figure shows changing the minimum threshold for estimated performance improvement for the Workload Table Organization Advisor
  4. Просмотр списка таблиц, которые рекомендуется преобразовать в организованный по столбцам формат

    Выберите окно Review (обзор) в Query Tuner Workflow Assistant. Здесь представлена сводная информация, которая отражает состояние предложенных рекомендаций. В данном сценарии организация таблицы показана в столбце Item Analyzed (проанализированные объекты) вместе с полученными результатами новых рекомендаций (см. рисунок 9).

    Рисунок 9. Сводный отчет после завершения работы Workload Table Organization Advisor
    Figure shows the review summary after completing the Workload Table Organization Advisor

    В этом окне можно щелкнуть по вкладке Table Organization и открыть подробную информацию о рекомендациях, как показано на рисунке 10:

    Рисунок 10. Подробная информация о рекомендациях по организации таблицы
    Figure shows the table organization recommendation details

    В верхней части страницы показана оценка улучшения производительности рабочей нагрузки. В данном случае она составляет 85,24 %. Эта величина показывает улучшение по рабочей нагрузке в целом, полученное в результате сравнения рабочей нагрузки до и после применения рекомендованных преобразований.

    В данном случае число рекомендованных к преобразованию таблиц равно 3 (из 4 найденных таблиц рабочей нагрузки).

    Верхняя таблица содержит список таблиц, которые рекомендуется преобразовать из строчной организации в организацию по столбцам. Для получения информации обо всех таблицах рабочей нагрузки можно изменить параметры фильтра так, чтобы вместо таблиц, подлежащих преобразованию, он показывал все таблицы или таблицы, которые не будут преобразованы. В данном сценарии мы отфильтровали таблицы, подлежащие преобразованию, поэтому значения столбца Current Organization (текущая организация) показывают только Row (строки), а столбец Recommended Organization (рекомендуемая организация) — только Column (столбцы).

    В столбце Finding (Заключения) приводятся пояснения к необходимости преобразования таблиц. Причины отсутствия рекомендаций по преобразованию таблицы могут быть разными: таблица может быть недоступна для преобразования (например, если таблица содержит столбец LOB или используется в операторе с курсором в рабочей нагрузке) или преобразование таблицы может не обеспечивать достаточного повышения производительности.

    Столбец Conversion Warning (предупреждение о преобразовании) уведомляет о случаях, когда преобразование таблицы может привести к удалению или изменению некоторых свойств таблицы. Например, поскольку в организованных по столбцам таблицах не применяются индексы, любые вторичные индексы, существующие в таблице со строчной организацией, будут удалены. В процессе преобразования удаляются следующие свойства: индексы, разбиение данных, многомерная кластеризация и MQT. Кроме того, для целостности данных и проверки ограничений устанавливается значение «not enforced» (необязательно). Может быть рекомендовано изменение пространства таблицы, если таблица со строчной организацией определена не в пространстве таблицы с опцией AUTOMATIC STORAGE. Рекомендованное пространство таблиц указывается в сценарии DDL, который будет описан ниже. Чтобы просмотреть все предупреждения, щелкните правой кнопкой по строке таблицы и выберите в раскрывающемся меню опцию View Warnings (просмотр предупреждений).

    Столбец References to Table (ссылки на таблицу) показывает число ссылок на таблицу в рабочей нагрузке. Столбец Cumulative Total Cost (суммарные затраты) показывает оценочную стоимость операторов в рабочей нагрузке, которые ссылаются на данную таблицу. Столбец IUDM Statements (операторы IUDM) показывает, сколько раз таблица используется в операторах вставки, обновления, удаления и объединения.

    Нижняя таблица SQL Statements Affected (затрагиваемые операторы SQL) показывает все операторы SQL, затрагиваемые рекомендованными к преобразованию таблицами. В этой таблице можно посмотреть, сколько раз исполняется оператор в рабочей нагрузке, а также увидеть текст оператора и оценку прироста производительности, полученную на основе виртуального преобразования. Кроме того, эта таблица показывает выраженную в тактах таймера оценку стоимости до и после виртуального преобразования. Помимо этого, в нижней таблице представлен столбец Weight (вес). Вес оператора пропорционален общей стоимости рабочей нагрузки с учетом стоимости оператора, включая число исполнений. (Другими словами, вес равен числу исполнений оператора, умноженному на «стоимость до» рекомендаций и поделенному на общую стоимость рабочей нагрузки.) Показанные таблицы расположены в порядке возрастания значений в столбце Weight.

  5. Просмотр и запуск сценария

    Щелкнув по Show DDL Script (показать сценарий DDL), можно открыть DDL для сценария преобразования всех рекомендованных таблиц, как показано на рисунке 11. Вы можете сохранить этот сценарий и запустить его, когда будете готовы. Кроме того, сценарий можно скопировать в буфер обмена, вставить в редактор Data Studio SQL и запустить с помощью планировщика заданий.

    Другой метод преобразования таблиц заключается в том, что вы отмечаете подлежащие преобразованию таблицы и целевое пространство таблиц и выбираете эти таблицы в представлении Database Administration (администрирование базы данных) в IBM Data Studio. Меню Convert to Column Organization (преобразование в организацию по столбцам) создает необходимый синтаксис ADMIN_MOVE_TABLE, как показано ниже в этой статье.

    Примечание: преобразование работает только в одном направлении – от организации по строкам к организации по столбцам.

    Рисунок 11. Рекомендованный сценарий преобразования (DDL) из Workload Table Organization Advisor
    Figure shows the recommended conversion (DDL) script from the Workload Table Organization Advisor

Анализ возможных вариантов

Можно проанализировать улучшение производительности, которое будет получено при выборе подгруппы таблиц, рекомендованных для преобразования, а не всех представленных таблиц. Для этого нужно щелкнуть по Test Candidate Table Organization (проверка таблиц-кандидатов на преобразование) в окне подробной информации о рекомендациях, как показано на рисунке 10. Откроется страница Test Candidate Table Organization, содержащая перечень таблиц рабочей нагрузки с указанием таблиц, для которых рекомендовано преобразование, как показано на рисунке 12. Вы можете опробовать эти таблицы или выбрать другую группу таблиц. Затем, когда вы щелкнете по Test Candidate Table Organization, эта функция осуществит виртуальное преобразование выбранных таблиц в формат с организацией по столбцам и предоставит информацию об улучшении производительности рабочей нагрузки, полученном с помощью этого преобразования.

Рисунок 12. Вызов функции Test Candidate Table Organization для рабочей нагрузки
Figure shows invoking the Workload Test Candidate Table Organization feature

Результаты можно увидеть на вкладке Candidate Table Organization (таблицы-кандидаты на преобразование), как показано на рисунке 13. На вкладке представлены сведения об улучшении производительности, связанном с преобразованием таблиц-кандидатов, информация для каждой таблицы в рабочей нагрузке и операторы SQL, затрагиваемые преобразованием.

Обратите внимание, что функция проверки кандидатов по ряду причин может не суметь виртуально преобразовать некоторые выбранные пользователем таблицы. Такие причины указаны в столбце Finding. Причиной может являться несоответствие таблиц требованиям преобразования или то, что таблицы уже организованы по столбцам. Функция оценки кандидатов оценивает только те таблицы, которые доступны для виртуального преобразования.

Рисунок 13. Результаты работы функции проверки таблиц-кандидатов на преобразование
Figure shows the output details from the Test Candidate Table Organization feature

Сценарий 2: преобразование таблиц в организованный по столбцам формат в Data Studio

Если вы уже знаете, какие таблицы нужно преобразовать в организованный по столбцам формат, вы можете преобразовать их с помощью представления Database Administration. Это представление отображает список таблиц с указанием типа их организации (по строкам или по столбцам). Кроме того, тип организации можно определить по виду значка таблицы.

Вы можете выбрать одну или несколько таблиц со строчной организацией и затем щелкнуть по пункту меню Convert to Column Organization (преобразовать в организацию по столбцам).

Рисунок 14. Меню преобразования в организацию по столбцам
Figure shows the convert to Column Organization menu choice for a table

При использовании функции архивирования редактор преобразования предлагает создать резервную копию базы данных в процессе преобразования. В качестве утилиты преобразования Data Studio использует сохраненную процедуру ADMIN_MOVE_TABLE, как показано на рисунке 15:

Рисунок 15. Сценарий преобразования, созданный в IBM Data Studio
Figure shows the conversion script generated by IBM Data Studio

Настройка стандартной организации таблицы для базы данныхe

При настройке автоматического управления рабочей нагрузкой конфигурационный параметр базы данных DFT_TABLE_ORG автоматически настраивается на создание новых таблиц в формате с организацией по столбцам. Этот параметр применяется ко вновь создаваемым таблицам и не оказывает влияния на уже существующие. Вы можете исключить этот параметр, непосредственно применив синтаксическую конструкцию ORGANIZE BY в операторе CREATE.

Для просмотра или изменения этого конфигурационного параметра выберите базу данных и щелкните по меню Configure (настройка), показанному на рисунке 16:

Рисунок 16. Настройка параметров базы данных
Figure shows the configure database parameters

Обратите внимание, что таблицы следующего типа по умолчанию всегда используют организацию по столбцам:

  • MQTs
  • кластеризованные таблицы (диапазон, время вставки);
  • таблицы, разбитые на диапазоны;
  • созданные и объявленные глобальные временные таблицы;
  • временные таблицы;
  • типизированные таблицы.

Сценарий 3: создание новой организованной по столбцам таблицы

Data Studio объединяет предложенные объекты для создания плана изменений. План изменений поддерживает создание в пакетном режиме с настраиваемым подходом к исполнению (например, с указанием методов запуска, откатами, запуском по графику или немедленным исполнением). Текущие и предшествующие планы изменений расположены в папке Change Plans (планы изменений).

Стандартный план изменений с автоматическим добавлением объектов привязан к верхней строке табличного представления редактора, как показано на рисунке 17:

Рисунок 17. Перечень планов изменений в IBM Data Studio
Figure shows the IBM Data Studio change plans list

Содержимое окна свойств таблицы соответствует типу этой таблицы, то есть зависит от ее организации (по столбцам или по строкам). Например, вкладки определения временных таблиц или кластеров не отображаются, если параметр DFT_TABLE_ORG имеет значение Column (столбцы).

Рисунок 18. Содержимое окна свойств новой таблицы
Figure shows the properties view for new table

Исполненные DDL отображаются в окне результатов SQL программы Data Studio вместе с состоянием и временем исполнения.


Заключение

В этой статье мы описали три сценария, показывающие, как применять Data Studio 4.1 и OQWT 4.1 для максимально эффективного использования BLU Acceleration.

Ресурсы

Научиться

Обсудить

Комментарии

developerWorks: Войти

Обязательные поля отмечены звездочкой (*).


Нужен IBM ID?
Забыли Ваш IBM ID?


Забыли Ваш пароль?
Изменить пароль

Нажимая Отправить, Вы принимаете Условия использования developerWorks.

 


Профиль создается, когда вы первый раз заходите в developerWorks. Информация в вашем профиле (имя, страна / регион, название компании) отображается для всех пользователей и будет сопровождать любой опубликованный вами контент пока вы специально не укажите скрыть название вашей компании. Вы можете обновить ваш IBM аккаунт в любое время.

Вся введенная информация защищена.

Выберите имя, которое будет отображаться на экране



При первом входе в developerWorks для Вас будет создан профиль и Вам нужно будет выбрать Отображаемое имя. Оно будет выводиться рядом с контентом, опубликованным Вами в developerWorks.

Отображаемое имя должно иметь длину от 3 символов до 31 символа. Ваше Имя в системе должно быть уникальным. В качестве имени по соображениям приватности нельзя использовать контактный e-mail.

Обязательные поля отмечены звездочкой (*).

(Отображаемое имя должно иметь длину от 3 символов до 31 символа.)

Нажимая Отправить, Вы принимаете Условия использования developerWorks.

 


Вся введенная информация защищена.


static.content.url=http://www.ibm.com/developerworks/js/artrating/
SITE_ID=40
Zone=Information Management
ArticleID=953085
ArticleTitle=Применение инструментов Optim Data для максимально эффективного использования BLU Acceleration
publish-date=11142013