В рамках некоторых курсов мы разбираем тесты, проверяющие усвоение материала. Официальные варианты пробных экзаменов на аккредитованных курсах (они мне нравятся меньше, но они является аккредитованными материалами для подготовки к боевым экзаменам) или используем тесты собственной разработки при проведении некоторых курсов в корпоративном формате (эти тесты существенно сложнее; на мой взгляд они лучше проверяют понимание и способность применять, полученные на курсе знания).
Почти каждый раз вне зависимости от того, какие тесты мы разбираем, в выборе правильных вариантов ответов проявляются сложности, которые не столько про понимание и знания в предметной области, сколько про логику и здравый смысл.
Не претендуя на роль Мартина Гарднера, попробую сформулировать всего одно простое соображение, которое может помочь при прохождении любых тестов. Из списка того, что, по моим наблюдениям, вызывает затруднения чаще всего.
Точнее, начну с мысли, которую часто озвучиваю при разборе тестов. Я где-то встречал, что нашему знаменитому физику Л.Д. Ландау, в выражениях не стеснявшемуся, приписывают следующее высказывание: «Для того, чтобы успешно пройти тест, нужно опуститься на тот же уровень, что и у авторов теста» (я постарался сформулировать максимально корректно). Быстро проверить цитату в интернете не смог, но, думаю, мысль понятна.
Действительно, проверка знаний с помощью выбора ответов из заранее предложенного набора обладает существенными недостатками. И иногда удаётся найти правильный вариант ответа, который не совпадает с тем, что имели в виду авторы. Просто они не подумали о том, что вопрос и/или вариант ответа можно трактовать так. Не говоря уже о том, что авторы теста могут и ошибиться.
С другой стороны, тестовая система — один из самых дешёвых вариантов проверки. Например, проверка эссе или даже ответов на открытые вопросы потребует куда больше времени и сил, и автоматизировать это сложнее. Поэтому, скорее всего, использоваться такая система будет ещё долго, и встретиться может где угодно. Это означает, что, сделав оговорку о том, что тесты неидеальны, мы можем постараться в той части, где вопросы таки корректны, отвечать правильно. Итак, обещанное соображение. Ещё раз предупреждаю: «Дальше будут банальности! Не читайте, если прохождение тестов не вызывает у вас затруднений»
В официальном документе (syllabus), описывающем экзамен по ITIL 4, один из возможных форматов вопроса выглядит так:
Смысл вопроса (хотя он сейчас нам неважен, важен формат) приблизительно таков: «Что НЕ является важным фактором, влияющим на формирование ценности?»
Там же, в syllabus, заявляется, что вопросы такого формата редки, являются исключением и используются только для того, чтобы проверить, что кандидат точно знает, что делать НЕ следует, или что НЕ должно происходить и т.п.
На самом деле в более общем виде вопрос можно переформулировать так: “Выберите лишнее из списка”. В т.ч. перед нами возникнет вопрос именно в такой формулировке, если мы точно не помним то, на знание чего нас проверяют в вопросе. Т.е. фактически, даже не помня точно, или сомневаясь в правильности выбранного варианта ответа, можно провериться себя «методом исключения». Для этого нужно понять, что именно в предлагаемом списке вариантов ответов лишнее. Ведь в данных тестах правильным вариантом ответа является только один. Разумеется, если вы точно знаете ответ на вопрос, то дальнейшие умопостроения вам ненужны. Но, во-первых, всегда ли мы помним всё наизусть? Во-вторых, здесь небесполезна сама схема рассуждений.
Прежде чем продолжить, посмотрите, пожалуйста, на картинку ниже и, не читая, ответьте, пожалуйста, на ДВА следующих вопроса.
- Какой из трёх объектов на блюдце на нижеприведённой картинке является лишним?
- Почему вы так считаете?
Ответили?
Давайте сравним.
Конечно же, лишним здесь является помидор потому, что это овощ, тогда как остальные два предметы фрукты. Верно? Или нет.
Лишний здесь мандарин. Потому, что яблоко и помидор красные, а мандарин – нет. Или нет!
Лишнее здесь яблоко – оно единственное на картинке с хвостиком. Кстати, ещё один аргумент в пользу последнего варианта ответа – яблоко выделяется размером.
Наверняка можно продолжать. Хотя все три возможных варианта мы уже перебрали и даже обосновали каждый из них.
Ещё один пример — это история из первых рук о вопросе из теста, использованного при приёме ребёнка в школу. Задание было приблизительно таким. Нарисованы сарафан, босоножки и валенки. Нужно выбрать то, что является лишним. Ребёнок выбирает валенки (ведь только сарафан и босоножки носят летом, а валенки — это про зиму). Но учитель счёл ответ неверным, поскольку валенки и босоножки — это обувь. Следовательно, лишним в списке является сарафан, который не есть обувь.
Думаю, вы легко можете составить подобные списки, где выбор правильно варианта ответа может быть неоднозначным. Ведь правильность выбора зависит от того какое из свойств перечисленных сущностей является ключевым. А у большинства сущностей, с которыми мы имеем дело (в т.ч. в тестах), атрибутов немало.
И в этом-то и состоит основная моя мысль. Нужно представлять контекст и понимать, из какой области вопрос. Согласитесь, это проще, чем «помнить наизусть правильную формулировку из книги». Но в то же время это сложнее, чем просто «рассуждать логически». И эта проблема довольно часто проявляется во время тренировки на курсе. Некоторые, рассуждая логически, но игнорируя контекст, приходят к неверному ответу. Точнее, выбранный человеком вариант может быть логически обоснован (как и выбор яблока, помидорами или мандарина в приведённом выше примере). Но не учитывает контекста, который определяет, какой из признаков является наиболее важным. В примере с фотографией таким контекстом может быть тема разговора или собеседник (кто это: художник, ботаник, аллерголог…). В примере с экзаменами ITIL4 или PRINCE2 — связанные с описываемой в вопросе ситуацией понятия, концепции и рекомендации из библиотеки. Проверьте себя на экзамене, — вы понимаете, с какой темой может соотносится отвечаемый вами вопрос?
В общем, требуется не только логика (она необходима), но знание предметной области. Хотя бы понимание ключевых моментов.
