Портал №1 по управлению цифровыми
и информационными технологиями

Процессная математика. Опросы пользователей

Постановка задачи

Допустим, мы решили провести опрос пользователей. Известно, что всего их – 1 000 человек. Для простоты предположим, что мы задаём 1 вопрос (например, об удовлетворенности качеством поддержки) с ответом по пятибалльной шкале (1-5). Интересующий нас результат опроса выражается средним из полученных ответов.

Вопрос: сколько ответов пользователей необходимо получить, чтобы результаты опроса были достаточно точными (достаточно – для принятия на основании результатов опроса управленческих решений)?

Ответ первый: на основании здравого смысла (то есть предрассудков)

Я опросил несколько знакомых, как они думают, сколько голосов пользователей необходимо получить. Ответы ранжировались в диапазоне 10-50% голосов от общего количества участников опроса, наиболее часто – 10-20% (то есть в нашем примере с 1 000 пользователей нам необходимо получить 100-200 голосов).

Ответ второй: на основании математики

Статистику учил очень давно. А поскольку период полураспада знаний среднего студента составляет один семестр, знаний в моей голове практически не осталось. Пришлось повторять. Результат повторения, вкратце, таков.

Выборочное среднее отличается от среднего по генеральной совокупности, и это отличие может быть выражено с помощью доверительного интервала. Доверительный интервал представляет собой диапазон значений, в который с заданной вероятностью попадает среднее по генеральной совокупности. Для небольших выборок случайных величин, распределенных по нормальному закону, доверительный интервал может быть рассчитан при помощи распределения Стьюдента:

n – размер выборки (количество полученных ответов);

t (a, n-1) – коэффициент Стьюдента для вероятности 1-a;

X – среднее по генеральной совокупности («точный» средний балл);

X’ – выборочное среднее (средний балл по полученным ответам);

S – стандартное отклонение, рассчитанное по формуле:

На всякий случай, всё это легко считается в MS Excel. Так в MS Excel 2010 стандартное отклонение рассчитывается функцией СТАНДОТКЛОН.В(…), доверительный интервал можно получить вызовом функции ДОВЕРИТ.СТЬЮДЕНТ(a; S; n), а коэффициент Стьюдента – функцией СТЬЮДЕНТ.ОБР.2Х(a; n-1).

Теперь посмотрим на границы доверительного интервала повнимательнее. На рисунке 1 представлен коэффициент Стьюдента для вероятности 95% в зависимости от размера выборки. На рисунке 2 – изменение коэффициента Стьюдента при увеличении выборки на единицу. Видно, что после n=40 уменьшение коэффициента Стьюдента практически не наблюдается (при увеличении выборки на единицу изменение коэффициента Стьюдента составляет менее -0,1%). Это значит, что, увеличив размер выборки вдвое (например, получив вместо 40 ответов 80), мы сокращаем доверительный интервал всего на 30% (при условии сохранения выборочного среднего и стандартного отклонения, см. раздел про границы применимости). Не так уж и много.

Далее, для опроса по пятибалльной шкале ответы обычно укладываются в диапазон 2-5, а значит стандартное отклонение ограничено сверху примерно на уровне 1,5 (обычный диапазон значений – от 0,5 до 1,2). Таким образом, при 40 ответах точность результата составляет 0,25-0,5 балла и с дальнейшим ростом выборки (вспоминая предыдущий абзац) сокращается относительно слабо. Так, при 100 ответах получаем точность на уровне 0,15-0,3 балла, и это при том, что мы опросили в 2,5 раза больше пользователей.

Таким образом, математика показывает, что оценка 10-20%, полученная на основании здравого смысла, завышена. При пятибалльной шкале ответов достаточно опросить порядка 40-50 пользователей. Что любопытно, это число не зависит от размера организации, то есть даже если пользователей будет 10 000, результат останется тем же: 40-50 ответов (в то время как оценка 10-20% даст выборку 1 000 – 2 000 ответов!).

Важно: увеличение точности шкалы ответов (например, не 5, а 10 баллов) в целом ведет к более высоким требованиям к размеру выборки (поскольку увеличение стандартного отклонения приводит к увеличению ошибки).

Границы применимости математического аппарата

Известный математик Давид Гильберт говорил: «Математика никогда не знает, о чем она говорит и верно ли то, о чем она говорит». И у этой шутки есть очень хорошее, глубокое объяснение, но об этом отдельно.

Нам же важно то, что математика, приведенная выше, предполагает, что ответы пользователей подчиняются нормальному распределению (то есть случайны). Не исключено, однако, что на наш вопрос о качестве поддержки сначала «набегут» отвечать наиболее недовольные и, таким образом, небольшая выборка может дать заниженную оценку. Таким образом, если пользователи «кластеризуются» по вариантам ответов (например, Вы знаете, что филиалы довольны меньше, чем головной офис из-за медленных каналов и неудобных телефонов), по 40-50 голосов необходимо получить от каждой группы пользователей. Но выявление таких групп есть путь предположений, возможны ошибки. Об этом необходимо помнить.

Выводы

С оговоркой про границы применимости математики я бы сделал следующие выводы:

  1. На основании здравого смысла мы склонны завышать требования к количеству ответов, необходимому для подведения итогов опросов.
  2. Даже небольшие выборки (40-50 ответов при 1 000+ пользователей) при не слишком сложной шкале ответов (пятибалльная шкала) могут быть достаточно точны (ошибка в 0,25-0,5 балла с вероятностью 95%), чтобы опираться на них при принятии решений.
«Flow Metrics: управление потоковым производством на основе данных»
Учебный курс про метрики на реальных примерах

Комментариев: 6

  • Георгий

    Вообще, у меня в голове всегда сидела и сидит цифра 5%. Откуда она там взялась, я честно не помню (очень возможно, из курса в институте как раз, это был один из немногих действительно понравившихся мне предметов) 🙂

    Эту же цифру мы всегда использовали, когда оценивали необходимое количество для выборки по опросам пользователей по департаментам. Оказывается за этой цифрой есть целый матаппарат

    "Если б Остап узнал, что он играет такие мудреные партии и сталкивается с такой испытанной защитой,он крайне бы удивился..."

    • Гоша, какие люди 🙂

      Дело-то в том, что 5% — это совпадение (1 000 пользователей, 5-балльная шкала ответов). Для 500 пользователей, например, 5% — мало, а для 10 000 — слишком много и поэтому не нужно. К слову, во всевозможных опросах ВЦИОМ и Левада-центра про предпочтения россиян выборка часто колеблется от 1 000  до 2 000 ответов, и это на 140-милионную аудиторию. Основной момент здесь — корректно сформировать выборку (регионы, возрастные группы и проч.). То есть репрезентативной выборку делает не абсолютный (в чел.) и не относительной (в %) размер, а состав участников.

      Изменение шкалы также скажется на пороге репрезентативности. Например, при 10-балльной шкале ответов стандартное отклонение может иметь величину 2 и более, поэтому размер выборки возрастет в 1,5-2 раза (с 40-50 до 60-100, что при 1 000 пользователях ближе к порогу в 8-10%).

      То есть "5%" матаппарат не заменяют 😉

  • Grigory Kornilov

    Имхо есть важная деталь — Цель опроса и согласованные KPI её достижения.

    Примеры цели:

    1. Получить положительную массовую оценку

    2. Выявить негативные факторы

    3. Выявить позитивные факторы

    4. Повысить мотивацию пользователей

  • Pavel Solopov

    Пришедшая только что смс-ка от "одного известного банка" с предложением оценить работу службы поддержки, навела на мысль, что если ответ на опрос дело добровольное, ответы никак не будут иметь нормальное распределение, поскольу в первую очередь будут отвечать недовольные.

  • Евгений

    А можно ли написать калькулятор в соответствии с данной темой, который на входе получает бальность шкалы и кол-во пользователей, а на выходе дает границы кол-ва ответивших (и мин уровень, и макс, в зависимости от требуемой точности), чтобы результат мог считаться правильным (можно также задачать допустимую погрешность — необходимую точность)?


Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

  • Рубрики

  •  
  • Авторы

  •  
  • Самое свежее

    • Метрики потока создания ценности
      Свой первый отчёт с данными о работе процесса в ИТ я сделал где-то в самом конце 90-х годов. Я тогда работал в поддержке, мне было важно понять как быстро мы выполняем заявки,
    • Я понял только то, что ничего не понял
      На тему услуг написано довольно много самых разных статей, т.к. оказание услуг – самый распространенный вид человеческой деятельности. Банковские услуги, гостиничные услуги, юридические услуги, логистические услуги; парикмахер, курьер, айтишник – все это деятельность в сфере услуг. Моя работа тоже относится к этой же сфере, поэтому не могу не поделиться своими наблюдениями, или, как говорится, поговорить о наболевшем.
    • DevOps-путешествие American Airlines
      Несколько лет назад компания American Airlines начала путешествие, которое первоначально было направлено на преобразование DevOps в ИТ, но в дальнейшем набирало обороты и переросло в преобразование доставки продуктов, охватывающее весь бизнес.
    • Чтение признаков: Паттерны диаграммы рассеяния (Lead Time Scatterplot)
      Научившись определять общие закономерности в диаграмме рассеяния времени цикла, вы сможете заметить проблемные области до того, как они разрастутся. Сегодня мы покажем вам, как распознать наиболее распространенные модели диаграммы рассеяния и объясним, что они означают для вашего проекта.
    • Проблемные зоны цифровой трансформации
      Управление на основе гибких методологий подразумевает наличие гибкой команды, занимающейся развитием цифрового продукта. Однако, такие команды не возникают сами собой, их
    • Чтение знаков: Паттерны Канбан CFD
      Чтобы улучшить рабочие процессы, сначала нужно понять, как определить проблемные области. Метод Канбан использует визуальные методы для оценки ваших процессов. Диаграмма совокупных потоков Канбан является особенно мощным инструментом. На них фиксируется количество задач в каждом состоянии процесса через регулярные промежутки времени, как правило, ежедневно или еженедельно.
    • Краткое руководство по DevOps для не ИТ-руководителя бизнеса
      Тщательно продумайте, как выглядит успех. В цифровом мире это скорость, гибкость, контроль и оперативность, а не составление планов и следование им. Именно эти новые ИТ-практики принесут вам эти преимущества. Они уже принесли их многим другим предприятиям, которые встали на этот путь и, в некоторых случаях, разрушили отрасли.
    • 8 тенденций развития IT Service Desk в 2022 году
      Корпоративная служба поддержки ИТ в настоящее время находится в «идеальном шторме» для изменений или, точнее, в «идеальном шторме» для необходимости изменений. Случилось так
    • 6 худших вещей, которые продакт-менеджеры говорят инженерам
      Каждый хороший продакт-менеджер — полиглот. Он говорит на нескольких языках. Конечно, вы можете не говорить бегло на французском, итальянском или мандаринском. Но вы
    • На какой курс пойти, чтобы узнать про практику Х?
      Этот вопрос вы, наши слушатели, задаёте довольно часто. К тому же появились новые курсы категории VAP. Так что было бы удобно иметь под рукой справочник. Ну что же, вот оно:
  •  
  • Вход

  • DevOps
    Kanban
    ITSM
    ITIL
    PRINCE2
    Agile
    Lean
    TOGAF
    COBIT