Для формирования системы измерения и оценки необходимо совершить несколько шагов. Причём состав этих шагов сохраняется, какой бы объект управления ни подлежал оценке — процесс, услуга, проект или другие разовые активности.
Шаг 1. Определение цели
Первый шаг — самый важный. Он определяет, к чему мы стремимся и, следовательно, для чего формируем систему измерения и оценки. Все последующие шаги зависят от качества целеполагания, а значит от компетенции менеджера, который определяет цели.
Для проекта или другой разовой активности формулировка цели, как правило, не вызывает затруднений, поскольку обычно сами такие активности инициируются исключительно для достижения конкретного результата. Более того, во многих организациях этот шаг требует формального обоснования, а значит — предварительного продумывания, письменного изложения и даже защиты перед тем или иным органом принятия решений (правлением, проектным комитетом, комитетом по закупкам и так далее).
Для процессов и услуг цель обычно связана с достижениями в одной из ранее рассмотренных групп показателей — результативности, соответствия, рациональности или продуктивности. Для измерения результативности процесса можно отталкиваться непосредственно от формулировки его назначения. По крайней мере, это справедливо для зрелых или широко известных процессов, таких как базовые операционные процессы управления ИТ-услугами, поскольку в этом случае формулировка назначения процесса заранее известна и опирается на внутренний опыт или внешние источники знаний. Результативность для услуги означает степень соответствия ожиданиям заказчика и согласованным обязательствам поставщика, а значит, цель по результативности является целью обеспечения качества услуги (а измерение результативности сводится к измерению качества услуги).
Независимо от объекта управления, цели должны соответствовать критериям SMART (Specific, Measurable, Achievable, Relevant, Time-bound) — быть конкретными, измеримыми, достижимыми, актуальными и ограниченными во времени. Несоответствие целей этому требованию сделает невозможными их полноценное измерение и обоснованную оценку, а также поставит под вопрос и саму возможность их достижения.
Например, назначение процесса управления изменениями можно сформулировать следующим образом: «обеспечение качества ИТ-услуг за счёт своевременной реализации изменений с минимальным уровнем ИТ-рисков». SMART-цель может звучать так: «к концу первого квартала 2019 года довести своевременность реализации изменений до уровня 90%».
Шаг 2. Выявление критических факторов успеха
Критический фактор успеха (CSF) — фактор, который обязательно должен реализоваться для успешности ИТ-услуги, процесса, плана, проекта или другой деятельности . Выявление и оценка реализации критических факторов успеха позволяют сделать систему измерения инструментом управления. Такая система будет в состоянии не только оценить итоговый результат, но и давать промежуточные оценки, подсказывающие необходимость тех или иных корректирующих мер и оценивая их результативность.
Для проектов выявление критических факторов успеха — отдельный этап на этапе планирования и идентификации рисков. Для небольших разовых активностей общепринятых правил нет, и практика может варьироваться от систематического анализа критических факторов успеха до их полного игнорирования.
Для процесса критические факторы успеха могут быть связаны с выполнением его ключевых практик . Как и в случае с назначением, предполагается, что ключевые практики определяются на этапе проектирования процесса. Однако найти их перечень в процессной документации уже действующих процессов не всегда возможно, и их определение и описание может оказаться полезным упражнением в рамках работы по разработке процессных метрик.
Шаг 3. Подбор метрик и инструментария измерения
На следующем шаге для исходной цели и выявленных критических факторов успеха выбираются метрики. Для проверки полноты сформированной системы метрик можно применять различные способы их классификации, рассмотренные нами ранее.
Теоретически, если цели и критические факторы успеха сформулированы должным образом, подбор метрик для них трудностей вызывать не должен. Однако метрики необходимо подбирать с учётом доступного инструментария измерения, а возможности имеющихся в наличии технических средств могут изрядно ограничить фантазию автора. Иногда технические ограничения можно компенсировать организационными решениями, например, собирать данные в ручном режиме. Но такие решения и дороже, и, как правило, предоставляют данные с задержкой. Таким образом, на практике сложность с подбором метрик довольно часто связана с инструментальными ограничениями. И, к сожалению, универсальных рецептов их преодоления не существует.
Рассмотрим в качестве примера процесс управления изменениями. Метрикой цели для процесса может быть «доля изменений, выполненных своевременно». Метрики для критических факторов успеха — «доля аварийных изменений (Emergency Change Rate, ECR)» и «доля изменений, реализованных с первой попытки».
Шаг 4. Формирование системы KPI
Далее на основании набора метрик необходимо сформировать KPI. Для этого:
а) отбираются наиболее значимые метрики
б) для них на основании формулировок целей и критических факторов успеха устанавливаются целевые и граничные значения.
Принципиальным аспектом на этом шаге является сбалансированность полученной системы KPI. Система должна быть способна обнаружить перекосы в управлении, когда одни аспекты состояния объекта игнорируются в пользу других (например, качество реализации запросов на изменения упускается в погоне за скоростью).
Шаг 5. Агрегирование данных по измерениям
Наконец, на последнем шаге выполняется выбор алгоритма агрегирования для расчёта интегральной оценки, всем KPI присваиваются веса (уровни значимости) и формируется сбалансированная карта показателей или другая форма отчёта, которая структурирует и наглядно представит результаты измерений для оценки и принятия решений.
Собираем все вместе
Таким образом, общая последовательность действий по формированию системы измерения и оценки может быть представлена следующим образом:
Важно ещё раз отметить, что этот методический материал может применяться и успешно применяется для решения самых разных управленческих задач, в том числе и не связанных с информационными технологиями. Отсутствие отраслевой специфики является очень важным свойством этой методики, поскольку позволяет использовать её на корпоративном уровне, включая в общую систему измерения и оценки самые разные подразделения, независимо от их функций.