Сложно ли сделать хороший экзамен?

Опубликовано 20 февраля 2023

Рубрики: ITIL, ITSM, Всё это - ЛЮДИ, Сертификация

Комментарии

Некоторое время назад мы решили сделать собственную сертификацию экспертов по ITSM. Известные многим и достаточно популярные экзамены по ITIL от PEOPLECERT в России сдать с весны прошлого года нельзя, а необходимость в подтверждении знаний никуда не делась. Клиенты нас регулярно спрашивают про возможность сертификации, а на возвращение PEOPLECERT в разумной временной перспективе рассчитывать не приходится. Поэтому решились.

Один из первых же сложных вопросов – а как придумывать вопросы? (так себе каламбур, я знаю). Тем не менее, проблема оказалась сложнее, чем мы ожидали.

С одной стороны, технология известна. Как делают (или делали) вопросы зарубежных экзаменов? Это нам хорошо известно:

Приглашается эксперт предметной области, готовый взять на себя обязательство придумать несколько сотен вопросов определённого нового экзамена, а взамен получить скромную оплату сдельно (чем больше вопросов, тем больше денег).
Эксперт открывает требуемую публикацию (чаще всего – книгу) на случайной странице, и затем выбирает случайную строку, содержащую какое-либо утверждение.
Это утверждение преобразуется в форму вопроса.
К полученному вопросу эксперт придумывает варианты ответов. Один – правильный, второй – похожий на правильный, третий – как выйдет, четвёртый – отвлекающий (distractor).
Готово. Повторить с шага 2 примерно 200 раз.

Мы все сдавали такие экзамены. Иногда формулировка вопроса вызывает недоумение. Иногда формулировки ответов вызывают раздражение. Отдельное издевательство – это в качестве утверждения выбрать какую-нибудь ячейку в большой таблице. Предполагается, что экзаменуемый выучил таблицу наизусть. Например, когда я сдавал экзамен EXIN DevOps Master, мне пришлось буквально выучить книгу Continuous Delivery (Дж. Хамбл, Д. Фарли), включая все (!) таблицы в ней и все приложения.

Каковы преимущества такого подхода? Они достаточно очевидны и важны для того, кто зарабатывает на экзаменах:

Это довольно дёшево.
Любого неуспешно сдавшего экзамен на любой вопрос можно всегда тыкнуть в нужную страницу священной книги, и спорить дальше не о чем.

Что с таким подходом не так? Недостатки бьют по тому, кто экзамен сдаёт:

Нужно вызубрить, а не понять.
Опыт сдающего никому не интересен, решающее значение имеет почти дословное знание текста исходной публикации.
Фактически, подтверждаются не знания, а способность запоминать.

Мы решили, что так не годится. Если уж делать, то ровно наоборот, лицом к клиенту.

Прорабатывая формат наших экзаменов, мы зафиксировали ключевые принципы и ввели несколько важных ограничений. Во-первых, существенную часть пула вопросов должны занимать вопросы на понимание. Тот самый Блум со своей таксономией, те самые уровни.

Во-вторых, формулировки вопросов не должны вводить в заблуждение, пытаться запутать кандидата, мешать проверке знаний и понимания сути предмета. Двойные отрицания, например, полностью исключены.

В-третьих, мы отказались от вопросов, где предлагается выбрать несколько (неизвестно сколько) вариантов ответов из предложенных. У нас всегда требуется выбрать только один ответ.

В-четвёртых, процедура апелляции отсутствует. Так как мы принципиально не хотим проверять знание какой-либо книги, то любое обсуждение “а я не согласен!” имеет шансы быстро превратиться в неконструктивное выяснение кто на ком стоял и у кого опыта больше, а это никому не нужно и никому не поможет.

В-пятых, вопросы придумывают не какие-то внешние эксперты сомнительных компетенций, а те самые тренеры, которые много лет преподают ITSM, знают нюансы, сами сдавали множество международных экзаменов и понимают, как надо и как не надо делать экзамены.

Разработать наш первый настоящий экзамен, ITSM Foundation, было сложно. Мы потратили на эту задачу несколько месяцев. Хорошо, что мы начинали не с нуля, иначе ушло бы ещё больше времени. Не с нуля, так как с 2019 года во все наши учебные курсы линейки Digital встроены тесты, завершающие каждый курс, и подразумевающие обязательный разбор всех вопросов и всех ответов с тренером, прямо в конце курса. Это означает, что у нас уже был опыт разработки “правильных” (в нашем понимании) вопросов и ответов, опыт обсуждений и жарких дискуссий, опыт правки двусмысленных формулировок, вычитки и вычищения, опыт анализа статистики как вариантов экзаменов в целом, так и отдельных вопросов каждого экзамена… Под рукой сейчас нет актуальных данных по сдаче, но число проведённых тестов совершенно точно составляет несколько тысяч. Да и техническая платформа готова, отлажена, проверена в бою уже несколько лет.

Итак, на мой взгляд, хороший экзамен сделать сложно. Авторы будут пытаться найти баланс между противоречащими друг другу целями. Иногда желание пойти на компромисс с совестью будет велико, но если помнить зачем нужны экзамены, то многие решения становятся очевидными. К сожалению, это удорожает и замедляет разработку и выпуск таких экзаменов.