Мы уже много писали про то, как измерять качество услуг и процессов и какие метрики для этого использовать. Только за этот год в нашем блоге вышло 3 статьи на эти темы.
Как измерять качество ИТ-услуг
С чего начинаются KPI: метрики процессов
И если есть метрики «хорошие», то должны быть и «плохие». Давайте поговорим о том, какие измерения не несут пользу, а только приводят к пустой трате сил, ресурсов и перегружают дашборды ненужной информацией.
«Ванильные» метрики
Поставил данную группу «плохих» метрик на первое место из-за звучного названия. Вообще на английском такие метрики называются Vanity Metrics, то есть буквально «тщеславные метрики», что как-то имеет больше смысла и отражает их сущность. Но в русскоязычных источниках прижился вариант «ванильные», поэтому так и будем их называть.
Так что такое «ванильные» метрики? Это показатели, которые хорошо выглядят со стороны, но почти ничего не говорят о реальной эффективности. Как правило они показывают существенную динамику измеряемого показателя, поэтому ими удобно хвастаться, но по ним не всегда можно судить о качестве результата и вообще о наличии результата как такового.
Например: Рост количества посетителей сайта с 5000 до 7000 за год или увеличение статей в базе знаний на 50%.
И вроде бы нет ни чего плохого, что мы измеряем эти метрики, но они становятся «плохими» если оторваны от контекста тем самым создавая ложное чувство успеха. На лицо существенный рост показателей, но это никак не влияет на принятие решений. Увеличение количества посетителей сайта интернет-магазина напрямую не говорит о том, что выросло число заказов, а увеличение статей в базе знаний не говорит о том, что все они полезны и помогают, например, сократить время решения инцидентов.
Метрики, которые мы не контролируем
Это метрики, которые зависят от множества внешних факторов. Вы не можете управлять тем, на что не можете повлиять. Если метрика зависит от отдела продаж, интернет-провайдера или действий стороннего вендора, то её измерение ничего не скажет об эффективности вашей команды.
Например, измерение количества ошибок в приложении стороннего вендора.
По результатам измерения такой метрики вы не сможете принять какие-либо решения относительно работы вашей команды, вы не можете повлиять на эту метрику. Если вам не нужно отслеживать производительность внешних подрядчиков, то и не стоит тратить ресурсы на измерение таких метрик.
Сложные метрики без ценности
Чем сложнее расчет, тем меньше людей понимают его смысл, и тем выше риск манипуляций. Условно, если вы не можете объяснить метрику новому стажеру за 30 секунд, то это плохая метрика.
Пример: Взвешенный коэффициент удовлетворенности пользователей с поправкой на сложность заявки, приоритет и время суток. (CSAT * (Приоритет/Время реакции) / Логарифм (Количество_переоткрытий))
Проблема подобных метрик в том, что порой сложно понять, означает ли рост этой цифры, что всё «хорошо» или всё «плохо». Вы не знаете, что и в какой степени влияет на результат измерения, поэтому ими трудно управлять.
Измерение активности вместо эффективности
К таким метрикам мы отнесем те, которые измеряют то, что люди делают, а не то, что они достигают, какую пользу бизнесу они приносят. В чем-то эти метрики перекликаются с «ванильными» — рост метрики может быть значительным, но без понимания контекста, без связи с измерением качества работы они пользы не приносят.
Пример: если оценивать эффективность работы агента сервис-деска только по количество закрытых заявок за день, то у него будет соблазн «дробить» крупные инциденты на несколько заявок, брать в работу только легкие запросы, не требующие много времени на закрытие, а более сложные эскалировать на другие линии поддержки.
Если мы игнорируем измерение результатов, а отслеживаем только метрики процессов, то вскоре мы увидим, что количество закрытых заявок неуклонно растет, но время решение действительно сложных запросов увеличивается, отрицательно влияя на удовлетворенность услугой со стороны пользователей.
Метрики, по которым не будут приниматься управленческие решения
Самая коварная группа. Эти метрики собирают, рисуют красивые графики на дашбордах, делают еженедельную рассылку… и все. Никаких санкций при ухудшении показателей, никакого пересмотра процессов, никаких премий за улучшение.
Пример: Руководитель видит неожиданный значительный рост количества инцидентов по сервису, но ничего не предпринимает. Пока за падением или ростом значения метрики не следует конкретное действие, то это не метрика, а статистика. Статистика бесполезна, если ей никто не управляет.
Конечно, это далеко не все примеры бесполезных метрик, с которыми доводится сталкиваться. Думаю, что у наших читателей есть свои примеры метрик, которые им приходится отслеживать, но которые не приносят реальной пользы. Поделитесь своим опытом в комментариях.
Подробнее о том, как построить систему измерения и оценки приносящую пользу, как выбирать «хорошие» метрики и избегать «плохих» мы рассказываем на курсах
