Некоторое время назад мы решили сделать собственную сертификацию экспертов по ITSM. Известные многим и достаточно популярные экзамены по ITIL от PEOPLECERT в России сдать с весны прошлого года нельзя, а необходимость в подтверждении знаний никуда не делась. Клиенты нас регулярно спрашивают про возможность сертификации, а на возвращение PEOPLECERT в разумной временной перспективе рассчитывать не приходится. Поэтому решились.
Один из первых же сложных вопросов – а как придумывать вопросы? (так себе каламбур, я знаю). Тем не менее, проблема оказалась сложнее, чем мы ожидали.
С одной стороны, технология известна. Как делают (или делали) вопросы зарубежных экзаменов? Это нам хорошо известно:
- Приглашается эксперт предметной области, готовый взять на себя обязательство придумать несколько сотен вопросов определённого нового экзамена, а взамен получить скромную оплату сдельно (чем больше вопросов, тем больше денег).
- Эксперт открывает требуемую публикацию (чаще всего – книгу) на случайной странице, и затем выбирает случайную строку, содержащую какое-либо утверждение.
- Это утверждение преобразуется в форму вопроса.
- К полученному вопросу эксперт придумывает варианты ответов. Один – правильный, второй – похожий на правильный, третий – как выйдет, четвёртый – отвлекающий (distractor).
- Готово. Повторить с шага 2 примерно 200 раз.
Мы все сдавали такие экзамены. Иногда формулировка вопроса вызывает недоумение. Иногда формулировки ответов вызывают раздражение. Отдельное издевательство – это в качестве утверждения выбрать какую-нибудь ячейку в большой таблице. Предполагается, что экзаменуемый выучил таблицу наизусть. Например, когда я сдавал экзамен EXIN DevOps Master, мне пришлось буквально выучить книгу Continuous Delivery (Дж. Хамбл, Д. Фарли), включая все (!) таблицы в ней и все приложения.
Каковы преимущества такого подхода? Они достаточно очевидны и важны для того, кто зарабатывает на экзаменах:
- Это довольно дёшево.
- Любого неуспешно сдавшего экзамен на любой вопрос можно всегда тыкнуть в нужную страницу священной книги, и спорить дальше не о чем.
Что с таким подходом не так? Недостатки бьют по тому, кто экзамен сдаёт:
- Нужно вызубрить, а не понять.
- Опыт сдающего никому не интересен, решающее значение имеет почти дословное знание текста исходной публикации.
- Фактически, подтверждаются не знания, а способность запоминать.
Мы решили, что так не годится. Если уж делать, то ровно наоборот, лицом к клиенту.
Прорабатывая формат наших экзаменов, мы зафиксировали ключевые принципы и ввели несколько важных ограничений. Во-первых, существенную часть пула вопросов должны занимать вопросы на понимание. Тот самый Блум со своей таксономией, те самые уровни.
Во-вторых, формулировки вопросов не должны вводить в заблуждение, пытаться запутать кандидата, мешать проверке знаний и понимания сути предмета. Двойные отрицания, например, полностью исключены.
В-третьих, мы отказались от вопросов, где предлагается выбрать несколько (неизвестно сколько) вариантов ответов из предложенных. У нас всегда требуется выбрать только один ответ.
В-четвёртых, процедура апелляции отсутствует. Так как мы принципиально не хотим проверять знание какой-либо книги, то любое обсуждение “а я не согласен!” имеет шансы быстро превратиться в неконструктивное выяснение кто на ком стоял и у кого опыта больше, а это никому не нужно и никому не поможет.
В-пятых, вопросы придумывают не какие-то внешние эксперты сомнительных компетенций, а те самые тренеры, которые много лет преподают ITSM, знают нюансы, сами сдавали множество международных экзаменов и понимают, как надо и как не надо делать экзамены.
Разработать наш первый настоящий экзамен, ITSM Foundation, было сложно. Мы потратили на эту задачу несколько месяцев. Хорошо, что мы начинали не с нуля, иначе ушло бы ещё больше времени. Не с нуля, так как с 2019 года во все наши учебные курсы линейки Digital встроены тесты, завершающие каждый курс, и подразумевающие обязательный разбор всех вопросов и всех ответов с тренером, прямо в конце курса. Это означает, что у нас уже был опыт разработки “правильных” (в нашем понимании) вопросов и ответов, опыт обсуждений и жарких дискуссий, опыт правки двусмысленных формулировок, вычитки и вычищения, опыт анализа статистики как вариантов экзаменов в целом, так и отдельных вопросов каждого экзамена… Под рукой сейчас нет актуальных данных по сдаче, но число проведённых тестов совершенно точно составляет несколько тысяч. Да и техническая платформа готова, отлажена, проверена в бою уже несколько лет.
Итак, на мой взгляд, хороший экзамен сделать сложно. Авторы будут пытаться найти баланс между противоречащими друг другу целями. Иногда желание пойти на компромисс с совестью будет велико, но если помнить зачем нужны экзамены, то многие решения становятся очевидными. К сожалению, это удорожает и замедляет разработку и выпуск таких экзаменов.
Компания Cleverics приглашает всех, кто работает в ИТ, или на должностях, связанных с ИТ на вебинар посвящённый новой сертификации Proven Practices:
“Новая российская ITSM-сертификация Proven Practices — импортозамещение от соавторов ITIL® 4 из Cleverics”.
Вебинар пройдет 23 марта в 12:00 (МСК) в онлайн формате.
Регистрация на мероприятие по ссылке https://provenpractices.cleverics.ru/