 | Метрики
Метрики сложности программ принято разделять на три основные группы:
- метрики размера программ;
- метрики сложности потока управления программ;
- метрики сложности потока данных программ.
Метрики первой группы базируются на определении количественных характеристик, связанных с размером программы, и отличаются относительной простотой. К наиболее известным метрикам данной группы относятся число операторов программы, количество строк исходного текста, набор метрик Холстеда. Метрики этой группы ориентированы на анализ исходного текста программ. Поэтому они могут использоваться для оценки сложности промежуточных продуктов разработки.
Метрики второй группы базируются на анализе управляющего графа программы. Представителем данной группы является метрика Маккейба.
Управляющий граф программы, который используют метрики данной группы, может быть построен на основе алгоритмов модулей. Поэтому метрики второй группы могут применяться для оценки сложности промежуточных продуктов разработки, начиная с работы 6.
Метрики третьей группы базируются на оценке использования, конфигурации и размещения данных в программе. В первую очередь это касается глобальных переменных. К данной группе относятся метрики Чепина.
Размерно - ориентированные метрики (показатели оценки объема)
LOC-оценка (Lines Of Code)
Размерно-ориентированные метрики прямо измеряют программный продукт и процесс его разработки. Основываются такие метрики на LOC-оценках.
Этот вид метрик косвенно измеряет программный продукт и процесс его разработки. Вместо подсчета LOC-оценок при этом рассматривается не размер, а функциональность или полезность продукта.
Наибольшее распространение в практике создания программного обеспечения получили размерно-ориентированные метрики. В организациях, занятых разработкой программной продукции для каждого проекта принято регистрировать следующие показатели:
- общие трудозатраты (в человеко-месяцах, человеко-часах);
- объем программы (в тысячах строках исходного кода -LOC);
- стоимость разработки;
- объем документации;
- ошибки, обнаруженные в течение года эксплуатации;
- количество людей, работавших над изделием;
- срок разработки.
На основе этих данных обычно подсчитываются простые метрики для оценки производительности труда (KLOC/человеко-месяц) и качества изделия.
Эти метрики не универсальны и спорны, особенно это относится к такому показателю как LOC, который существенно зависит от используемого языка программирования.
Пример из жизни:
На наш взгляд оценка по количеству строк в коде влечёт за собой соблазн написать побольше строк, дабы взять побольше денег. Разумеется, об оптимизации в таком продукте никто уже думать не станет. Вспомним историю о том, как планетарный центр аутсорсинга - Индия, после того, как заказчики вменили им метрику LOC, на второй день показал удвоение и утроение строк кода.
Количество строк исходного кода (Lines of Code – LOC, Source Lines of Code – SLOC) является наиболее простым и распространенным способом оценки объема работ по проекту.
Изначально данный показатель возник как способ оценки объема работы по проекту, в котором применялись языки программирования, обладающие достаточно простой структурой: «одна строка кода = одна команда языка». Также давно известно, что одну и ту же функциональность можно написать разным количеством строк, а если возьмем язык высокого уровня (С++, Java), то возможно и в одной строке написать функционал 5-6 строк – это не проблема. И это было бы полбеды: современные средства программирования сами генерируют тысячи строк кода на пустяковую операцию.
Потому метод LOC является только оценочным методом (который надо принимать к сведению, но не опираться в оценках) и никак не обязательным.
В зависимости от того, каким образом учитывается сходный код, выделяют два основных показателя SLOC:
- количество «физических» строк кода – SLOC (используемые аббревиатуры LOC, SLOC, KLOC, KSLOC, DSLOC) – определяется как общее число строк исходного кода, включая комментарии и пустые строки (при измерении показателя на количество пустых строк, как правило, вводится ограничение – при подсчете учитывается число пустых строк, которое не превышает 25% общего числа строк в измеряемом блоке кода).
- Количество «логических» строк кода – SLOC (используемые аббревиатуры LSI, DSI, KDSI, где «SI» - source instructions) – определяется как количество команд и зависит от используемого языка программирования. В том случае, если язык не допускает размещение нескольких команд на одной строке, то количество «логических» SLOC будет соответствовать числу «физических», за исключением числа пустых строк и строк комментариев. В том случае, если язык программирования поддерживает размещение нескольких команд на одной строке, то одна физическая строка должна быть учтена как несколько логических, если она содержит более одной команды языка.
Для метрики SLOC существует большое число производных, призванных получить отдельные показатели проекта, основными среди которых являются:
- число пустых строк;
- число строк, содержащих комментарии;
- процент комментариев (отношение строк кода к строкам комментария, производная метрика стилистики);
- среднее число строк для функций (классов, файлов);
- среднее число строк, содержащих исходный код для функций (классов, файлов);
- среднее число строк для модулей.
Метрика стилистики и понятности программ
Иногда важно не просто посчитать количество строк комментариев в коде и просто соотнести с логическими строчками кода, а узнать плотность комментариев. То есть код сначала был документирован хорошо, затем – плохо. Или такой вариант: шапка функции или класса документирована и комментирована, а код нет.
Fi = SIGN (Nкомм. i / Ni – 0,1)
Общая оценка F = ΣFi
|
Суть метрики проста: код разбивается на n-равные куски и для каждого из них определяется Fi
Итого по SLOC
Потенциальные недостатки SLOC, на которые нацелена критика:
- некрасиво и неправильно сводить оценку работы человека к нескольким числовым параметрам и по ним судить о производительности. Менеджер может назначить наиболее талантливых программистов на сложнейший участок работы; это означает, что разработка этого участка займёт наибольшее время и породит наибольшее количество ошибок, из-за сложности задачи. Не зная об этих трудностях, другой менеджер по полученным показателям может решить, что программист сделал свою работу плохо.
- Метрика не учитывает опыт сотрудников и их другие качества
- Искажение: процесс измерения может быть искажён за счёт того, что сотрудники знают об измеряемых показателях и стремятся оптимизировать эти показатели, а не свою работу. Например, если количество строк исходного кода является важным показателем, то программисты будут стремиться писать как можно больше строк и не будут использовать способы упрощения кода, сокращающие количество строк (см. врезку про Индию).
- Неточность: нет метрик, которые были бы одновременно и значимы и достаточно точны. Количество строк кода — это просто количество строк, этот показатель не даёт представления о сложности решаемой проблемы. Анализ функциональных точек был разработан с целью лучшего измерения сложности кода и спецификации, но он использует личные оценки измеряющего, поэтому разные люди получат разные результаты.
И главное помнить:
метрика SLOC не отражает трудоемкости по созданию программы
.
Пример из жизни:
В одной из компаний при внедрении мы применили данную метрику – считали строки кода. Руководитель организации был в отпуске, но по возвращении из него решил воспользоваться прозрачностью и трассируемостью изменений и посмотреть, как же идут дела в проектах у его менеджеров. И чтоб полностью войти в курс, опустился на самый низкий уровень (то есть не стал оценивать плотность дефектов, количество исправленных багов) – на уровень исходных текстов. Решил посчитать, кто и сколько строк написал. А чтоб было совсем весело – соотнести количество рабочих дней в неделю и количество написанного кода (логика проста: человек работал 40 часов в неделю, значит, должен много чего написать). Естественно, нашелся человек, который за неделю написал всего одну строку, даже не написал, а только откорректировал существующую…
Гневу руководителя не было предела – нашел бездельника!
И плохо было бы программисту, если бы менеджер проекта не объяснил, что: была найдена ошибка в программе, нашел ее VIP- клиент, ошибка влияет на бизнес клиента и ее нужно было срочно устранить, для этого был выбран вот этот конкретный исполнитель, который развернул стенд, залил среду клиента, подтвердил проявление ошибки и начал ее искать и устранять. Естественно, в конце концов, он поменял фрагмент кода, в котором было неправильное условие и все заработало.
Согласитесь, считать трудозатраты по данной метрике глупо – необходима комплексная оценка…
Метрики сложности
Помимо показателей оценки объема работ по проекту очень важными для получения объективных оценок по проекту являются показатели оценки его сложности. Как правило, данные показатели не могут быть вычислены на самых ранних стадиях работы над проектом, поскольку требуют, как минимум, детального проектирования. Однако эти показатели очень важны для получения прогнозных оценок длительности и стоимости проекта, поскольку непосредственно определяют его трудоемкость.
Объектно-ориентированные метрики
В современных условиях большинство программных проектов создается на основе ОО подхода, в связи с чем существует значительное количество метрик, позволяющих получить оценку сложности объектно-ориентированных проектов.
| Метрика | Описание |
|---|
| Взвешенная насыщенность класса 1 (Weighted Methods Per Class (WMC) | Отражает относительную меру сложности класса на основе цикломатической сложности каждого его метода. Класс с более сложными методами и большим количеством методов считается более сложным. При вычислении метрики родительские классы не учитываются. | | Взвешенная насыщенность класса 2 (Weighted Methods Per Class (WMC2)) | Мера сложности класса, основанная на том, что класс с большим числом методов, является более сложным, и что метод с большим количеством параметров также является более сложным. При вычислении метрики родительские классы не учитываются. | | Глубина дерева наследования (Depth of inheritance tree) | Длина самого длинного пути наследования, заканчивающегося на данном модуле. Чем глубже дерево наследования модуля, тем может оказаться сложнее предсказать его поведение. С другой стороны, увеличение глубины даёт больший потенциал повторного использования данным модулем поведения, определённого для классов-предков.
| | Количество детей (Number of children) | Число модулей, непосредственно наследующих данный модуль.Большие значения этой метрики указывают на широкие возможности повторного использования; при этом слишком большое значение может свидетельствовать о плохо выбранной абстракции. | | Связность объектов (Coupling between objects) | Количество модулей, связанных с данным модулем в роли клиента или поставщика. Чрезмерная связность говорит о слабости модульной инкапсуляции и может препятствовать повторному использованию кода. | | Отклик на класс (Response For Class) | Количество методов, которые могут вызываться экземплярами класса; вычисляется как сумма количества локальных методов, так и количества удаленных методов |
Метрики Холстеда
Метрика Холстеда относится к метрикам, вычисляемым на основании анализа числа строк и синтаксических элементов исходного кода программы.
Основу метрики Холстеда составляют четыре измеряемые характеристики программы:
- NUOprtr (Number of Unique Operators) — число уникальных операторов программы, включая символы-разделители, имена процедур и знаки операций (словарь операторов);
- NUOprnd (Number of Unique Operands) — число уникальных операндов программы (словарь операндов);
- Noprtr (Number of Operators) — общее число операторов в программе;
- Noprnd (Number of Operands) — общее число операндов в программе.
На основании этих характеристик рассчитываются оценки:
-
Словарь программы
(Halstead Program Vocabulary, HPVoc): HPVoc = NUOprtr + NUOprnd;
-
Длина программы
(Halstead Program Length, HPLen): HPLen = Noprtr + Noprnd;
-
Объем программы
(Halstead Program Volume, HPVol): HPVol = HPLen log2 HPVoc;
-
Сложность программы
(Halstead Difficulty, HDiff): HDiff = (NUOprtr/2) × (NOprnd / NUOprnd);
-
На основе показателя HDiff предлагается оценивать усилия программиста при разработке при помощи показателя HEff (Halstead Effort): HEff = HDiff × HPVol.
Метрики цикломатической сложности по Мак-Кейбу
Показатель цикломатической сложности является одним из наиболее распространенных показателей оценки сложности программных проектов. Данный показатель был разработан ученым Мак-Кейбом в 1976 г., относится к группе показателей оценки сложности потока управления программой и вычисляется на основе графа управляющей логики программы (control flow graph). Данный граф строится в виде ориентированного графа, в котором вычислительные операторы или выражения представляются в виде узлов, а передача управления между узлами – в виде дуг.
Показатель цикломатической сложности позволяет не только произвести оценку трудоемкости реализации отдельных элементов программного проекта и скорректировать общие показатели оценки длительности и стоимости проекта, но и оценить связанные риски и принять необходимые управленческие решения.
Упрощенная формула вычисления цикломатической сложности представляется следующим образом:
C = e – n + 2, где e – число ребер, а n – число узлов на графе управляющей логики. |
Как правило, при вычислении цикломатической сложности логические операторы не учитываются.
В процессе автоматизированного вычисления показателя цикломатической сложности, как правило, применяется упрощенный подход, в соответствии с которым построение графа не осуществляется, а вычисление показателя производится на основании подсчета числа операторов управляющей логики (if, switch и т.д.) и возможного количества путей исполнения программы.
Цикломатическое число Мак-Кейба показывает требуемое количество проходов для покрытия всех контуров сильносвязанного графа или количества тестовых прогонов программы, необходимых для исчерпывающего тестирования по принципу «работает каждая ветвь».
Показатель цикломатической сложности может быть рассчитан для модуля, метода и других структурных единиц программы.
Существует значительное количество модификаций показателя цикломатической сложности.
- «Модифицированная» цикломатическая сложность – рассматривает не каждое ветвление оператора множественного выбора (switch), а весь оператор как единое целое.
- «Строгая» цикломатическая сложность – включает логические операторы.
- «Упрощенное» вычисление цикломатической сложности – предусматривает вычисление не на основе графа, а на основе подсчета управляющих операторов.
Метрики Чепина
Существует несколько ее модификаций. Рассмотрим более простой, а с точки зрения практического использования – достаточно эффективный вариант этой метрики.
Суть метода состоит в оценке информационной прочности отдельно взятого программного модуля с помощью анализа характера использования переменных из списка ввода-вывода.
Все множество переменных, составляющих список ввода-вывода, разбивается на четыре функциональные группы.
-
Множество «Р» – вводимые переменные для расчетов и для обеспечения вывода. Примером может служить используемая в программах лексического анализатора переменная, содержащая строку исходного текста программы, то есть сама переменная не модифицируется, а только содержит исходную информацию.
-
Множество «М» – модифицируемые или создаваемые внутри программы переменные.
-
Множество «C» – переменные, участвующие в управлении работой программного модуля (управляющие переменные).
-
Множество «Т» – не используемые в программе (“паразитные”) переменные. Поскольку каждая переменная может выполнять одновременно несколько функций, необходимо учитывать ее в каждой соответствующей функциональной группе.
Далее вводится значение метрики Чепина:
Q = a1P + a2M + a3C + a4T, где a1, a2, a3, a4 – весовые коэффициенты. |
Весовые коэффициенты использованы для отражения различного влияния на сложность программы каждой функциональной группы. По мнению автора метрики наибольший вес, равный трем, имеет функциональная группа С, так как она влияет на поток управления программы. Весовые коэффициенты остальных групп распределяются следующим образом: a1=1; a2=2; a4=0.5. Весовой коэффициент группы T не равен нулю, поскольку “паразитные” переменные не увеличивают сложности потока данных программы, но иногда затрудняют ее понимание. С учетом весовых коэффициентов выражение примет вид:
Предварительная оценка на основе статистических методов в зависимости от этапов разработки программы
При использовании интегрированных инструментальных средств у компаний, разрабатывающих типовые решения (под эту категорию попадают так называемые «инхаузеры» – компании, занимающиеся обслуживанием основного бизнеса) появляется возможность строить прогнозы сложности программ, основываясь на собранной статистике. Статистический метод хорошо подходит для решения подобных типовых задач и практически не подходит для прогноза уникальных проектов. В случае уникальных проектов применяются иные подходы, обсуждение которых находится за рамками данного материала.
Типовые задачи как из рога изобилия падают на отделы разработки из бизнеса, потому предварительная оценка сложности могла бы сильно упростить задачи планирования и управления, тем более что есть накопленная база по проектам, в которой сохранены не только окончательные результаты, но и все начальные и промежуточные.
Выделим типовые этапы в разработке программ:
- разработка спецификации требований к программе;
- определение архитектуры;
- проработка модульной структуры программы, разработка интерфейсов между модулями. Проработка алгоритмов;
- разработка кода и тестирование.
Теперь попробуем рассмотреть ряд метрик, часто используемых для предварительной оценки на первых двух этапах.
Предварительная оценка сложности программы на этапе разработки спецификации требований к программе
Для оценки по результатам работы данного этапа может быть использована метрика прогнозируемого числа операторов Nпрогн программы:
Где:
NF – количество функций или требований в спецификации требований к разрабатываемой программе;
Nед – единичное значение количества операторов (среднее число операторов, приходящихся на одну среднюю функцию или требование). Значение Nед - статистическое.
Предварительная оценка сложности на этапе определения архитектуры
Си = NI / (NF * NIед * Ксл) |
Где:
NI – общее количество переменных, передаваемых по интерфейсам между компонентами программы (также является статистической);
NIед–единичное значение количества переменных, передаваемых по интерфейсам между компонентами (среднее число передаваемых по интерфейсам переменных, приходящихся на одну среднюю функцию или требование);
Ксл – коэффициент сложности разрабатываемой программы, учитывает рост единичной сложности программы (сложности, приходящейся на одну функцию или требование спецификации требований к программе) для больших и сложных программ по сравнению со средним ПС.
Подведение итогов
Таблица 1 – Состав метрик их влияние и анализ эффективности использования
| Метрика | Зачем нужна | Влияет на… | Анализ на основе статистических данных (как тренд, так и прогноз) |
|---|
| Усилия разработчика при реализации. | Насколько эффективен труд разработчика. | Точность прогнозов оценки трудоемкости при выполнении организацией типовых или мало отличающихся запросов | Можно анализировать усилия разработчика во временном срезе или в срезе по релизам или проектам. Выявлять, на каких задачах программист полностью выкладывается, а какие ему не по душе.
Тренд позволит менеджеру лучше понимать, кто и каких задачах максимально эффективен при формировании команды нового проекта, а также какие подсистемы относительно сложны, а какие – просты.
| | Длина и объем программы |
| Оценку объема изменений | Увеличивается или уменьшается объем программы во времени.
Используем для прогноза сложности на ранних этапах на основе статистики.
| | Анализ цикломатической сложности. |
| Оценку сложности изменений | Сложность растет или нет?
Используем для прогноза сложности на ранних этапах на основе статистики.
| | Усилия программиста при разработке. | Для определения сложности реализации того или иного блока кода (класса, функции и т.д.) | Понимание того, насколько интеллектуально-затратной для разработчика была та или иная функция. | Анализируется увеличение или уменьшение усилий разработчика во времени.
На предварительных этапах метрику можно использовать для прогноза.
| | Количество строк на реализацию требования. | Меряем общую температуру. Эта метрика принимается во внимание при анализе реализации запроса. | Понимание КПД.Отслеживаем всплески.
| Сигнал опасности при выявлении увеличения количества строк во время выполнения типового запроса
Используем для оценки сложности на ранних этапах на основе статистики.
| | Количество комментариев на единицу кода. | Код должен быть документирован. Если соотношение кода к комментарию не 1:4, то разработчик обязан доработать. | Качество кода, его прозрачность. | Общая культура разработчиков растет или нет?
Если растет – хорошо.
Если нет – плохо.
Если скачкообразно – соотносим менеджеров\руководителей проектов со скачками.
Выделяем сложные проекты, проблемные модули или подсистемы
| | Прочие
количественные метрики (число функций, классов, файлов).
| Отношение новых функций к измененным. | Количество добавленных, удаленных и измененных строк по отношению к предыдущей версии. | Глубокий анализ изменений по релизам (версиям, сборкам) дает понять:
Количество изменений (на что угодно) – сколько раз один и тот же блок кода корректировался. Возможно выявить узкое место в программе: интенсивно меняющийся блок кода может влиять на общее качество программы (потенциальное место возникновения ошибок). Возможно, необходимо изменить архитектуру блока.
| | Плотность дефектов на единицу кода. | Количество дефектов на 1-у строку кода | Производная метрика: количество строк/число дефектов. | Данная метрика более полезна для временной оценки:
Плотность увеличивается от билда к билду, от версии к версии?
Плотность дефектов по подсистемам (выявляем проблемную подсистему. В этом случае показатель почти наверняка будет коррелироваться с метрикой, отвечающей за интенсивность изменений участка кода, так как в этом месте наверняка «тонко»)
|
Кончено же, вся информация хранится в унифицированном виде в репозитории. Анализ возможен из любой точки: как из верхней, так и из нижней, либо с любой промежуточной. В этом и состоит весь смысл трассируемости изменений (не путать с трассировкой требований).
Само хранение метрик, конечно же, хорошо, но применять его нужно вместе с процессными метриками, для анализа текущей ситуации и прогнозирования, как краткосрочного, так и долгосрочного.
В следующей части нашей статьи мы рассмотрим практические применения метрик в программных продуктах IBM Rational. Рассмотрим только один сегмент, касающийся способа хранения набора метрик в репозитории системы управления версиями ClearCase. Сразу отметим, что эта система может хранить только метрики, относящиеся к коду. Комбинированные же метрики (такие, как плотность дефектов) необходимо выводить на основе показателей из всех систем: ClearCase (количество строк) и ClearQuest (количество дефектов за единицу времени), RequisitePro (количество требований) и т.д.
Отметим, что мы не ставили перед собой глубокий и детальный анализ метрик – для этого есть специализированная литература (ссылки приводятся в конце статьи). Ниже приведен набор метрик, которые остались «за бортом» данной статьи.
Метрики размера программы:
- Метрика Майерса;
- Метрика Джилба;
- Метрика 'Подсчет точек пересечения';
- Метод граничных значений.
Метрики сложности потока данных:
- Метрика 'модуль – глобальная переменная';
- Метрика Спена;
- Метрика Овьедо.
Методы оценки надежности:
- Модель Джелинского-Моранды;
- Модель Шумана;
- Модель Шика-Уолвертона;
- Модель 'Простая экспоненциальная модель';
- Модель Липова.
Геометрические модели:
- Модель Шнейдевинда;
- Модель Дюэна;
- Марковская модель;
- Статистическая модель Миллса;
- Модель последовательности испытаний Бернулли.
Метрики стилистики и понятности программ:
- Метрика уровня комментированности программного кода;
- Метрика изменения длины программной документации.
Объектно-ориентированные метрики:
- Метрики связности класса (по данным, по методам);
- Метрика зависимости изменений между классами;
- Метрика локальности данных класса;
- Набор метрик Чидамбера и Кемерера (WMC, DIT, NOC, CBO, RFC, LCOM);
- Набор метрик Лоренца и Кидда (CS, NOO, NOA, SI);
- Набор метрик Абреу (MHF, AHF, MIF, AIF, POF, COF;
- Набор метрик тестируемости ОО-систем Байндера.
| |
