На всех аккредитованных курсах по ITIL мы кроме всего прочего разбираем пробные экзамены для подготовки к сдаче соответствующих сертификационных экзаменов. Некоторые варианты пробных экзаменов (как минимум один для каждого экзамена) AXELOS (компания правообладатель ITIL) сопровождает документом, дающим правильные ответы и пояснения к ним. В этом официальном документе помимо ответа и пояснения (иногда, будем честны, требующего дополнительного пояснения) к каждому вопросу также указываются темы, к которым относится данный вопрос, ссылки на соответствующие разделы библиотеки ITIL и уровень сложности вопроса.

Уровень сложности вопроса никак не влияет на систему расчёта баллов (во всяком случае, в существующих на данный момент экзаменах ITIL). Сложный и простой вопрос будут стоить кандидату одинаковое количество баллов, которое будет зависеть только от степени правильности выбранного ответа.
Кроме того, даже если знать заранее заявленный авторами экзамена уровень сложности (это, разумеется, возможно только в пробном экзамене), вряд ли это поможет ответить на вопрос. Совсем не очевидна польза от этой информации и для подготовки к экзамену.

Тем не менее, некоторые слушатели, знающие о наличии такой градации, иногда спрашивают о том, какой уровень сложности был у только что разобранного вопроса. И ответ из официального документа не редко удивляет: «Почему этот лёгкий вопрос позиционируется авторами экзамена как сложный, а вопросу, на который мы с таким трудом отвечали вчера, присвоен средний уровень сложности?»

Давайте попробуем разобраться.

Для каждого экзамена есть официальный документ (syllabus) от AXELOS, в котором указывается список областей – около десяти для всех экзаменов сертификационной схемы ITIL (от «Основ (Foundation)» к экзаменам среднего уровня (Intermediate) и до MALC [Managing Across the Lifecycle]), на владение которыми проверяется кандидат. По каждой области указываются ключевые темы и ссылки на соответствующие разделы библиотеки ITIL. В общем, полезный документ, для подготовки к экзамену. Точнее, для планирования подготовки к экзамену, поскольку позволяет оценить, какие области требуют дополнительного внимания и, соответственно, наиболее оптимально распределить свои время и силы.

Кроме того в syllabus указывается целевой «уровень владения темой».
Для указания цели используется таксономия Блума (Bloom). Кстати, краткое описание используемой экзаменаторами модификации (очень близкой к оригинальной) модели Блума,  приводится в соответствующем разделе («Уровни сложности») syllabus-а. Сжатое изложение приведено в таблице ниже (исходная модель на картинке из Wikipedia).

Каждый последующий уровень (начиная со 2-го) требует кроме прочего навыков предыдущих уровней.
Кстати, в том же syllabus-е указано, что уровни сертификации распределены по уровням Блума следующим образом:

• Foundation – 1, 2 уровни
• Intermediate – 3, 4 уровни
• MALC – 4, 5 уровни

Таким образом, авторы экзаменов пытаются не просто проверить знание фактов и теории. Требуется (помимо, разумеется, логики), понимание теории, достаточное для того, чтобы с использованием умения вычленить из предлагаемых на экзаменах выше Foundation сценариев нужное и важное, выделить ошибочное, сконструировать (правильную последовательность, план), сделать суждение и т.п. Т.е. с точки зрения входной информации (данные в сценарии или формулировке вопроса) степень неопределённости с повышением уровня экзамена возрастает.

Это, кстати хорошо соотносится с используемой в ITIL  моделью DIKW (модель, описывающая преобразование Данные (Data)  – Информация (Information) – Знания (Knowledge) – Мудрость (Wisdom)).

Возвращаясь к исходному вопросу («Почему сложные вопросы могут показаться простыми и наоборот?»), можно отметить, что в некоторых случаях всю «сложную» цепочку, которую придумали авторы вопроса, можно проскочить за счёт того, что здравый смысл и/или практический помогают сразу выбрать правильный ответ.
Также здравый смысл и (особенно!) практический опыт могут сослужить плохую службу на экзамене. Это, наверное, наиболее опасная ловушка – переход к очевидному выводу, подтверждённому к тому же собственной практикой. Если при этом не учтены какие-то особенности, упоминаемые в сценарии или в формулировке вопроса, есть риск выбрать вариант ответа верный с точки зрения здравого смысла, подтверждённый личным опытом и даже сформулированный с использованием фраз из книг ITIL, но, тем не менее, не правильный. Поэтому часто говорят о том, что на экзамене не нужно полагаться [исключительно] на практический опыт. Нужно, используя здравый смысл и логику, внимательно изучить входящую информацию (сценарий и вопрос) и применить знания полученные на курсах и из дополнительных источников (включая, разумеется, саму библиотеку ITIL).

Тем не менее, понятно, что авторы экзаменов, придумывая сценарии и вопросы, не могут отходить от реальной жизни слишком далеко. Поэтому практический опыт, конечно же, помогает разобраться с вопросами. И, поскольку этот опыт у разных кандидатов различается, разные люди  по-разному оценивают сложность одних и тех же вопросов.
Кстати, для того, чтобы оценить ориентировочный профиль кандидата, как его видят «экзаменаторы» можно обратиться, например, к карте компетенций потенциального кандидата для той или иной сертификации. Например, на сайте EXIN можно на странице, посвящённой соответствующему экзамену, увидеть матрицу, описанную в терминах e-Competence Framework (e-CF). Пример для экзамена Intermediate Capability Stream ITIL® Service Offerings and Agreements.

Понятно, что отклонение профиля конкретного кандидата может приводить к отклонению в восприятии уровня сложности вопросов.
И, говоря о различии в восприятии, не нужно также забывать о различии в культуре (в широком смысле) в разных компаниях. Где-то уровень зрелости того или иного процесса может быть довольно высоким, и лучшие практики являются повседневной рутиной. А для кого-то это может быть даже не откровением, а каким-то космосом и небылицей («быть не может, чтобы где-то так работало!», «уж больно всё это заумно»).

В качестве иллюстрации вспомнился индийский фильм «Миллионер из трущоб». Точнее, реакция многих наших соотечественников на последний, победный вопрос «на миллион». Там главному герою нужно было из имён четырёх персонажей Дюма, выбрать имя третьего мушкетёра (два имени [Атос и Портос] были уже даны в вопросе). Так вот реакция многих окружающих была именно такой: «Чушь какая-то! Не может быть вопрос на миллион таким банальным» И, правда, в моём детстве вряд можно было найти школьника (да и взрослого, наверное), который не знал бы имена мушкетёров. Справедливости ради стоит отметить, что и мальчишек, понимающих, что такое миллион долларов (а главное, зачем он нужен) тоже набралось бы не много. Но речь не об этом.

На наше восприятие сложности того или иного вопроса влияет большое количество факторов. Это восприятие может не совпадать с мнением авторов экзамена. Тем не менее, владение материалом ITIL на достаточном уровне, существенно повышает вероятность того, что вне зависимости от уровня сложности, кандидат сможет ответить на любой вопрос.

Успехов на экзаменах!
Вне зависимости от количества Блумов в вопросах, которые Вам попадутся.

PS  Кстати, вопрос терпеливому читателю.
На каком уровне по таксономии Блума был вопрос про Арамиса из упомянутого фильма?
Не торопитесь отвечать… всё-таки за этот вопрос в фильме дали 20 000 000 рупий (14 млн.рублей по тому курсу).

ЭКЗАМЕНЫ НА РУССКОМ ЯЗЫКЕ"

Proven Practices Expert

Российская сертификация специалистов по ITIL/ITSM