Портал №1 по управлению цифровыми
и информационными технологиями

KPI, проценты и психология

percent

Используя первую главу книги «ITSM. Руководство по измерению», можно сформировать оценку ИТ-подразделения или отдельных видов деятельности. В книжке эти оценки выражены в процентах и измеряются от 0 до 100. Однако опыт показывает, что проценты иногда вызывают неприятие руководителей. И причины этого не в математике, а скорее в психологии.

Вот пример. Допустим, оценка качества некоторой услуги опирается на три показателя:

tab1

В ответ на подобные таблицы мы несколько раз получали от ИТ-руководителей замечания вроде «Что значит 0%? Это значит, мы вообще могли выключить системы и не включать их?» или «Что значит 60%? У нас доступность на уровне 99%, а за 60% нас вообще всех увольнять пора?».

Удивительно, но факт: оценка, выраженная в процентах, может неосознанно восприниматься людьми не как самостоятельная величина, а как значение показателя в соответствующей области. Например, не «Оценка за доступность на уровне 0%», а «Доступность на уровне 0%».

При этом выясняется, что школьная шкала оценок в баллах (2-5) может работать гораздо лучше. То есть если оценка выражена не в процентах от 0 до 100, а в баллах от 2 до 5, она более четко воспринимается именно как оценка, и 2 балла за доступность критичного приложения на уровне всего 99% уже не кажутся несуразицей.

Столкнувшись с этим, мы решили преобразовать проценты в баллы:

tab2

А чтобы баллы «не мешались» при агрегировании оценок, все расчёты, как и ранее, можно выполнять в процентах (тогда их можно не только усреднять, но и перемножать), а баллы использовать только при выводе конечного результата в виде отчета (BSC или SLAM-chart):

tab3

Лично мне оба подхода кажутся эквивалентными (в силу чисто математических причин). Но без сомнения школьные годы вообще и система оценок в частности оставила на всех нас довольно глубокий психологический отпечаток.

Поэтому вопрос: коллеги-руководители, какой вариант вы предпочли бы в отношении оценки себя и своих подчинённых?

«Flow Metrics: управление потоковым производством на основе данных»
Учебный курс про метрики на реальных примерах

Комментариев: 5

  • Alexandr Trapezin

    Второй вариант более нагляден при оценке.

  • Для оценки сотрудников я использовал и процентную шкалу, и балльную.

    При работе с процентной шкалой невольно переходишь к более грубым категориям, например 0 — 25% — 50% — 75% или подобным. Оценить какой-либо критерий с точностью 65% или 66% практически невозможно, отсюда и огрубление. Да и в дальшейнем анализе или агрегации такая точность бывает излишней.

    С другой стороны, у школьной шкалы от 1 до 5 есть свои нюансы, влияющие на практике на восприятие. Мне вспоминаются два:

    1. Реальная шкала не от 1 до 5, а от 2 до 5, так как разницу между единицей и двойкой мало кто способен объяснить.

    2. Тот, кто в школе учился на тройки-четвёрки, пятёрку может воспринимать как нечто, упавшее с неба. Само собой получилось. Случайность. Я не влияю. Тот, кто в школе был отличником и привык усердно трудиться, тройку может воспринимать как оскорбление. А шкала одна и та же, и критерии одни и те же. Люди только разные.

    Возможно, универсального ответа нет, и для разных ситуаций (задач) подходят разные шкалы?

    • Оценить какой-либо критерий с точностью 65% или 66% практически невозможно, отсюда и огрубление. Да и в дальшейнем анализе или агрегации такая точность бывает излишней.

      Если в основе интегральной оценки лежит экспертное мнение, то согласен. Но если интегральная оценка основана на объективных измерениях, то основная проблема шкалы 2-3-4-5 - как раз слишком большое огрубление. Широкий диапазон результатов будет представлен оценками 3-4. Как следствие, будет трудно оценивать динамику достижений, сравнивать результаты разных подразделений / руководителей.

  • Сергей Семикин

    Раз они эквиваленты математически может стоит выдавать обе оценки, имея некий алгоритм трансформации? А потребитель отчёта сам выберет, какой формат ему удобнее.

    • А потребитель отчёта сам выберет, какой формат ему удобнее.

      Подобные отчёты с оценками прежде всего должны являться инструментом коммуникации, поэтому мне такой вариант не кажется оптимальным.


Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

  • Рубрики

  •  
  • Авторы

  •  
  • Самое свежее

    • 3 стратегии, которые помогут вашей команде принять метрику потока
      Вам необходимо эффективно управлять рабочими процессами, чтобы иметь возможность постоянно предоставлять ценность своим клиентам. Именно здесь в игру вступают метрики потока. Метрики потока являются основной движущей силой оптимизации процессов.
    • Новая модель предоставления ИТ-услуг: почему вам нужно ориентироваться на продукт
      Традиционно ИТ-организации делят все предоставляемые ими услуги на три уровня: инфраструктура (инфраструктура как услуга), платформа (платформа как услуга) и приложения
    • Как DevOps-командам следует использовать метрики DORA
      С момента выхода в 2018 году книги «Accelerate: Наука о бережливом программном обеспечении и DevOps», показатели DORA, которые она представила, стали популярным
    • Лучше делать хоть что-то, чем не делать ничего
      На конференциях по всяким Agile и DevOps мы часто слышим слово «unlearn» — забудьте то, что вы знали ранее! Измените свои представления о мире! Всё устроено
    • VI форум «Управление данными — 2021»: наведите порядок в данных!
      23 сентября 2021 года издательство «Открытые системы» в шестой раз проведет в Москве масштабный форум «Управление данными — 2021», объединяющий всех, кто определяет стратегию работы с данными, воплощает ее в жизнь и управляет предприятием на основе объективных достоверных данных. Участники форума обсудят не только инновационные стратегии и бизнес-модели работы с корпоративными данными, но и конкретные архитектурные и технологические решения.
    • Простые уловки, как ускорить процесс разработки программного обеспечения
      С некоторыми вещами люди из бизнеса вынуждены соглашаться, и одна из них заключается в том, что никто не хочет сердить свою команду разработчиков. Часто они являются краеугольным
    • Почему каждая инициатива DevOps должна начинаться с оценки возможностей
      Внедрение практики DevOps идет полным ходом. Организации сосредоточены на том, как внедрить возможности DevOps в командах и как масштабировать DevOps в масштабах предприятия. Но важным аспектом любого пути масштабной трансформации является оценка возможностей команды или организации на этом пути.
    • Что такое процесс и что такое практика в ITIL®4
      Продолжаем публиковать короткие видеоролики, посвященные актуальным вопросам управления ИТ. Сегодня поговорим о том, что такое процесс и что такое практика в ITIL4. Это не переименование процессов в практики, это два отдельных понятия. Рассказывает Игорь Фадеев, ITIL 4 Managing Professional и ITIL 4 Strategic Leader, аккредитованный тренер по ITIL4.
    • Аудит. Что может быть скучнее?!
      На прошедшей неделе участвовал в аудите (в качестве объекта аудита). Большинство людей, проходивших аудит, подозреваю, разделяет это ощущение: «Бюрократия, формальности и т.п.»
    • Как технический долг вредит вашей команде программистов — и вашей безопасности приложений
      Техническая долг может серьезно повлиять на здоровье организации - и на психическое здоровье ваших разработчиков. Более половины из 200+ членов инженерных команд, опрошенных в рамках отчета Stepsize "Состояние технического долга в 2021 году", считают, что технический долг негативно влияет на моральное состояние их команд.
  •  
  • Вход

  • DevOps
    Kanban
    ITSM
    ITIL
    PRINCE2
    Agile
    Lean
    TOGAF
    COBIT