Содержание


Оценка эффективности информационных систем

Часть 2. Понятие эффективности, современные методы оценки

Серия контента:

Этот контент является частью # из серии # статей: Оценка эффективности информационных систем

Следите за выходом новых статей этой серии.

Этот контент является частью серии:Оценка эффективности информационных систем

Следите за выходом новых статей этой серии.

Одной из проблем определения эффективности общесистемного и офисного программного обеспечения (ПО) является выбор методики оценки. В классической литературе, посвященной вопросу оценки эффективности, она рассчитывается по формуле: ,

Затраты – совокупные затраты на приобретение, установку и конфигурирование, сопровождение и поддержку, а также затраты связанные с простоем оборудования во время техническое обслуживание или устранения неисправностей.

Эффект – эффект, достигаемый при внедрении ПО. Однако из-за специфики использования общесистемного и офисного ПО определить прямой эффект от их внедрения (во временных или финансовых показателях) затруднительно. Вследствие этого возникает задача выбора метода оценки, все множество которых можно разделить на:

  1. Затратные методы. Оценка производится не на основе измерения конечного продукта или результата, а на основе затраченных ресурсов или сил.
  2. Методы оценки прямого результата. Методика оценивает прямой измеримый результат, например, снижение стоимости владения, повышение функциональности системы, снижение трудозатрат или появление побочного продукта основного трудопроизводства.
  3. Методы, основанные на оценке идеальности процесса. Такие методики базируются на статических или динамических сравнительных алгоритмах. Базовым показателем выбирается объект рассматриваемой системы, тогда идеальной считается информационная система с лучшими для отрасли показателями затрат на единицу выхода. Популярны также подходы на базе сравнения с альтернативным решением.
  4. Квалиметрические подходы. Такие методики комплексно рассматривают информационную систему, организуют ее измерение и обрабатывают полученные результаты статистическими, социологическими и/или экспертными методами.

Затратные методы оценки

Котловой метод. Метод основан на определении соотношения объемов вложений в программное обеспечение, включая внедрение и сопровождение, с размерами предприятия и направлениями его бизнеса. Часто данное соотношение задается в виде максимально-допустимого объема вложений по отношению к годовому обороту компании, например не более 1% для небольших компаний и не более 3% для крупных.

Метод функциональной точки. Данный метод используется для приблизительной оценки стоимости создания и внедрения информационной системы (ИС) в зависимости от требований пользователя. Каждое такое требование оценивается как по шкале трудности (легкие, средние и трудные), так и по шкале важности для пользователя. Требования представляются в виде вектора (функциональной точки) в многомерном пространстве. Далее в соответствии с гипотезой «компактности» предполагается, что чем ближе функциональные точки проектов друг к другу в пространстве требований, тем их параметры, включая и эффективность, более схожи. Соответственно в базе ранее внедренных проектов находится такой, чья функциональная точка ближе всего находится к проектируемой ИС, и предполагается, что их эффективности максимально близки.

Total cost of ownership (ТСО – совокупная стоимость владения). Данный метод предполагает количественную оценку на внедрение и сопровождение программного обеспечения, рассчитываемую по формуле: ,

где – оценка интегрированных затрат по проекту в момент ; Е – норма дисконтирования, отражающая временной характер финансовых ресурсов; – дисконтированная сумма фактически произведенных интегральных затрат на момент; Т – период жизненного цикла системы; - оценка интегральных затрат на проект в периоде t.

Модель ТСО позволяет разобраться в структуре расходов, связанных с ИС, и открывает широкие перспективы для их сокращения, также способствует выявлению текущих проблем, обеспечивает постоянную обратную связь в управлении затратами.

Методы оценки прямого результата

Потребительский индекс (Customer index). Этот метод предполагает оценку результатов внедрения ПО в виде совокупности индексов, отражающих положительные изменения в работе компании (увеличение доходов, снижение затрат, увеличение оборотов, увеличение клиентской базы и т.п.).

Applied information economics (AIE – прикладная информационная экономика) – методика аналогична потребительскому индексу, но в отличии от нее также предполагает оценку различных субъективных показателей, например, простота работы с системой, удовлетворенность клиентов и т.п.

Economic value sourced (EVS – источник экономической стоимости). Представляет собой оценку того, какую пользу ПО приносит компании при его использовании, оценивается по четырем показателям: увеличение доходов, повышение производительности труда, сокращение времени выпуска продуктов, снижение рисков.

Economic value added (EVA – экономическая добавленная стоимость). Данная методика предполагает определение эффекта как фактическую прибыль от использования ПО, которая равна чистой операционной прибыли за минусом стоимости капитала. Применительно к ИТ проектам EVA означает, что:

  • при использовании капитала в ИТ проектах, необходимо учитывать его стоимость, за него необходимо платить также, как и за труд работников;
  • предполагается, что ИТ-специалисты продают свои услуги другим подразделениям по рыночным расценкам.

Это позволяет рассматривать ИТ как центр прибыли, а не затрат, при этом четко отображая, как увеличиваются доходы.

Методики, основанные на идеальности процесса

Данные методы основаны на сравнении результатов внедрения ПО с уже существующими хорошими (идеальными) примерами. И предполагается, чем ближе мы приближаемся к этим примерам, тем выше эффективность внедряемого ПО. К таким методам относятся:

Среднеотраслевые результаты. В этом случае оценка результативности внедрения ПО проводится по сравнению со средними отраслевыми результатами. Эти результаты обычно приводятся в открытых публикациях и маркетинговых материалах.

Gartner Measurement (Гартнер-измерение). Согласно этому методу эффективность определяет, насколько данная информационная система соответствует нуждам пользователя. При этом ориентирование идет не только на внутренние возможности системы, но и на субъективное мнение клиентов и объективные данные различных вариантов внедрения. Для этого качественно оцениваются такие критерии как время, затраченное на настройку системы, реализованные функциональные возможности, среднее число пользователей на один сервер, среднее и пиковое число транзакций в единицу времени, стоимость одной транзакции, среднее и пиковое время отклика системы, используемые методы обучения, стоимость инфраструктуры информационной системы на одного пользователя. На основе такого исследования оценивается конкретный вариант внедрения, при этом он сравнивается с другими (ранее внедренными) и на основе анализа даются рекомендации по улучшению работы информационной системы, подбору оптимальной конфигурации ПО, по наиболее эффективным для данного клиента методикам обучения, по интеграции информационных систем с другими системами заказчика.

Return of investment (ROI – возвратность инвестиций). Суть методики заключается в выборе для компании типового проекта, оптимального по показателю сроков возврата инвестиций в ПО.

Квалиметрические методы

Total economic impact (TEI – модель совокупного экономического эффекта). В качестве затратной компоненты данного метода используется модель ТСО, а эффект рассчитывается на основе следующих факторов:

  • Преимущества. Сравнение вариантов организации труда существующей и в прогнозируемой информационной системе (как было – как будет). Оценка различий и сопоставление результатов с целями проекта позволяет определить преимущества или недостатки новой информационной системы.
  • Гибкость. Гибкость информационной системы оценивается с точки зрения ее расширяемости, а также ее адаптируемости к новым условиям. Одним из гарантов гибкости является использование стандартизированных и унифицированных решений, а также продуманная архитектура информационной системы.
  • Риск. Подразумевается вероятность финансовых потерь при инвестировании в ИТ.

Balanced scorecard (BSC – сбалансированная система показателей). Это система стратегического управления организацией на основе измерения и оценки ее эффективности через использование комплексной функции, включающей набор показателей, учитывающих все аспекты деятельности компании (финансовые, маркетинговые и т.д.). К таким показателям обычно относят:

  • критические факторы успеха (Critical Factors of Success, CFS) – стратегические показатели: финансы, клиенты, внутренние бизнес-процессы, обучение и рост;
  • ключевые показатели эффективности (Key performance indicators, KPI), включая достигнутые результаты деятельности компании.

Состав и количество сбалансированных показателей определяются исходя из специфики каждой компании.

Выбор метода оценки общесистемного и офисного ПО

При выборе метода оценки эффективности общесистемного и офисного ПО необходимо учитывать следующие факторы:

  • оценка как эффекта, так и затратной компоненты эффективности; возможность определения эффекта применительно к общесистемному и офисному ПО; (возможность оценки финансовых и временных показателей, таких как производительность труда, снижение себестоимости продукции и т.п.)
  • возможность определения показателей без проведения глубокого обследования бизнес-процессов организации (данное обследование является очень затратным и трудоемким. И как правило необходимо лишь для специализированного программного обеспечения);
  • универсальность методики - определяется универсальностью параметров и силе их влияния (при изменении) на алгоритм расчета.

Результаты возможности применения различных методов приведены в таблице.

МетодОценка эффекта и затратОпределение эффекта для общесистемного и офисного ПОНеобходимость глубокого обследования организацииУниверсальность
Котловой методзатратыне считаетсяне требуетсяуниверсален
Метод функциональной точкиэффект, затратыприменимне требуетсяне универсален
ТСОзатратыне считаетсяне требуетсяуниверсален
Потребительский индексэффектне применимтребуетсяне универсален
AIEэффектприменимне требуетсяуниверсален
EVSэффектне применимтребуетсяне универсален
EVAэффект, затратыприменимтребуетсяуниверсален
Среднеотраслевые результатыэффектне применимне требуетсяуниверсален
Gartner Measurementэффект, затратыприменимне требуетсяуниверсален
Return of investmentэффект, затратыне применимне требуетсяуниверсален
TEIэффект, затраты (ТСО)применимне требуетсяуниверсален
BSCэффект, затратыприменимтребуетсяуниверсален

Выводы

Только два метода оценки соответствуют всем перечисленным факторам: это Gartner Measurement и TEI.

Особенность использования метода Gartner Measurement для оценки эффективности, является необходимость в большой и подробной базе данных (БД) ранее проведенных инсталляций. Что делает его использование весьма затруднительным.

Что касается метода TEI, то его использование для оценки эффективности не нуждается в наличие большой БД, а использование модели ТСО в качестве затратной компоненты данного метода позволяет полностью разобраться в структуре расходов связанных с ПО. Эффект рассчитывается на основе дополнительных факторов, которые позволяют определить преимущества или недостатки новой информационной системы, оценить гибкость новой ИС, а так же учесть возможные финансовые риски при внедрении новой ИС. Все это позволяет получить достаточно точную оценку и делает метод TEI оптимальным для расчеты эффективности общесистемного и офисного ПО.

Пример расчета эффективности использования ИС методом TEI будет рассмотрен в следующей статье.


Ресурсы для скачивания

static.content.url=http://www.ibm.com/developerworks/js/artrating/
SITE_ID=40
Zone=Linux, Open source
ArticleID=522070
ArticleTitle=Оценка эффективности информационных систем: Часть 2. Понятие эффективности, современные методы оценки
publish-date=09162010