Нью-Йоркский профессор Джо Бирман объяснил мне, что для
него как американца «правильное» решение этой задачи
совершенно очевидно. «Дело в том,- сказал он,- что я точно
представляю себе степень идиотизма составителей этих задач»
(c) В.И. Арнольд, «Для чего мы изучаем математику?» Квант, 1993
Добрый день!
Очень легко оценить коэффициент интеллекта: если человек, пройдя «бесплатный» IQ-тест в интернете, отправляет смс-сообщение для получения результата, то уже многое становится понятно. Можно считать, что чем больше с его счёта снимут денег, тем хуже он прошёл тест. Кстати, если после этого он сможет выбить из своего сотового оператора всю сумму обратно, то покажет неплохое знание психологии и рычагов воздействия в современном мире, чем частично реабилитируется :)
Но если серьёзно, то ниже мы попытаемся понять, что именно измеряет тест интеллекта. Существуют как минимум следующие взгляды на различные системы тестирования интеллекта:
1) Они не позволяют раскрыться талантливому человеку, поскольку предлагают стандартные типовые задания. И поэтому они не могут отличить будущего великого учёного от будущего менеджера по продажам в салоне бытовой техники.
2) Они высоко оценивают не столько интеллект, сколько окружение тестируемого. Если ребёнок рос среди людей, которые любят играть с цифрами и словами, то он будет успешнее проходить «тесты интеллекта», чем настоящий гений, который не успел «набить руку» на такие задачки, потому что с ним в подобные игры просто не играли.
3) Нельзя верить тестам, а надо смотреть на настоящую работу. Тестирование - это лишь приближённая оценка, поэтому принимать решение на её основе - это значит соглашаться на высокий уровень ошибок. А это нельзя делать, потому что каждая ошибка - это чья-то судьба.
И на всё это есть вполне понятные возражения. Например такое: тестирование интеллекта - это не тестирование талантливости и гениальности. Если про это не забывать, то первый и второй пункты сразу теряют смысл. Аналогично можно отбиваться от опасающихся неверных результатов из-за специфики окружения: особенности воспитания тоже нужно мерить, что и учитывается тестом. И на возражение о высокой доле ошибок при тестировании естественный ответ: не ошибается тот, кто ничего не делает.
Так что же тогда измеряет IQ-тест?
А что он вообще может измерить? Наверняка вы помните отличников в школе, которые были весьма глупы. А некоторые очень умные ребята имели массу троек и четвёрок, поэтому, заглянув в классный журнал, обнаружить всех смышлёных было невозможно. Тестирование интеллекта показывает то же, что и школьная оценка - способность выдать ожидаемый результат, но вовсе не обязательно ум. И дело тут не в том, что надо критиковать оценки и тесты за неверную мишень при измерении, а в том, что понятие ум крайне трудно формализовать, из-за чего сложно мерить. Поэтому тестируют то, что возможно и кому-то нужно, а не интеллект.
Здесь мы уже плотно подошли к ответу на вопрос о том, что измеряет IQ-тест. Далее я предлагаю прочитать две статьи, опубликованные в 2008 году в Компьютерре №21 (737) (как раз была тема номера «тесты тестов»). Статьи интересные, хорошие и краткие, поэтому для тех, кто ещё не решился нажать на ссылку, приведу пару мыслей из них:
В статье «Самый лучший IQ-тест» Виктор Васильев (кстати, самый молодой академик РАН!) анализирует логические и геометрические задания стандартного IQ-теста. Автор статьи приходит к выводу, что создатели теста правильно решили не более пяти из шестнадцати своих собственных логических задач. Выходит, при тестировании измеряется не логичность человека, а совпадение его ошибок с ошибками составителя теста (которых, как мы увидели, больше двух третей). Цитата: «человеку, правильно решившему все эти задачи, было бы зачтено только восемь ответов из шестнадцати, что соответствует 118 баллам, то есть почти точно уровню канцелярского работника. Наверное, в этом и состоит сермяжная правда кадровой политики эпохи постмодерна: ведь проклятых зануд, умеющих отличать верное рассуждение от неверного, и близко нельзя подпускать к группе "административных и руководящих работников", для которой характерен показатель около 153 баллов IQ». Аналогично разбираются другие типы задач, с решением которых их составители не могут справиться, но берутся оценивать интеллект миллионов школьников.
Во второй статье «Что такое "ум", "интеллект" и что измеряют тесты IQ?» Дина Рамендик подробнее останавливается на истории возникновения тестов и задачах, которые перед ними ставятся. В самом деле, эти тесты не должны мерить логичность, а призваны оценить схожесть тестируемого и группы, в которую планируется его включить. Цитата: «Например, даны: "Пила, молоток, клещи, бревно". В тесте правильный ответ - "бревно". Так ответит человек, который использует общее понятие "инструменты". Это стандартный подход, принятый в школьном образовании. Человек, опирающийся на сильное зрительное воображение, может выбрать "пилу", поскольку только она плоская. Можно найти аргументы и для других критериев выбора. Но человек, который даст "правильный" ответ, проявит более высокий психометрический интеллект. Вероятно, ему будет легче вписаться в систему образования и общаться с людьми, большинство которых мыслят так же, как он».
Надеюсь, вам захотелось прочитать статьи целиком :)
Хорошей вам недели!
RSS-feed
Сегодня на баше на эту тему:
ОтветитьУдалитьVendettA: чтоб ты знал у меня IQ больше 160!
LE: круто! не ожидал.. *THUMBS UP*
VendettA: я тест айзенка два раза проходила - первый раз 80 получилось и второй почти 90
Предположение 1:
ОтветитьУдалитьС 1995 года всякий нашедший ошибку в тестах или посчитал тест недостойным комментирования в силу его очевидной некорректности, или списал ошибку на свой низкий IQ и промолчал устыдившись.
Предположение 2:
Математически образованные люди редко проходят тесты на IQ.
Тесты интеллекта измеряют интеллект, а не гениальность или талантливость.
ОтветитьУдалитьРазличие между интеллектом и талантливостью, примерно, как между приспособленностью к ходьбе по натянутому канату и умением научиться ходить хотя бы по бревну. А также освоить азы велотриала, умение стоять и приседать на надутом гимнастическом шаре и тп. Интеллект более общее понятие, чаще нужен.
Вот пример культурно-независимого теста на интеллект: http://www.iqtest.dk/main.swf
Там сохраняются варианты ответов и можно проверить, насколько правильно человек ответил. Заодно можно найти правильный ответ и посмотреть на свою и чужую логику.
А она, эта чужая логика, есть в любом ответов на любой из вопросов.
Если интелект == ум, то IQ точно его неизмеряет.
ОтветитьУдалитьА как ум измеряли в древности? Помните пословицу "по одежке встречают, по уму провожают"? Неужто хозяева гостя IQ тестами пытали? По моему ум == способности общения. Для этого вроде бы EQ тесты созданы.
> По моему ум == способности общения.
ОтветитьУдалитьНа мой взгляд это тоже совершенно разные вещи.
Умение общаться - это скорее вопрос харизмы, чем ума/интеллекта.
Да ну. Харизма ─ "способности притягивать к себе внимание". Хотя, это частный случаи способности общаться.
ОтветитьУдалитьhttp://ru.wikipedia.org/wiki/Харизма
Ну просто представьте себе гения-социопата.
ОтветитьУдалитьОн будет очень умным, но его способности к общению будут стремиться к нулю.
Хм, а как по мне, то всё-таки некоторые из тех кто крякает, вполне могут оказаться тракторами: http://smages.com/i/cf/63/cf63223e3d89237259c933e8eab54eb2.png (извиняюсь за "топорное" исполнение).
ОтветитьУдалитьЯ не прав?
P.S. остальные задачи, как мне кажется, имеют подобную "ошибку".
P.P.S. это всё прямоугольный треугольник повлиял - теперь стараюсь проверять самостоятельно всё что только можно.
По-моеиу, главная причина разочарования в тестах - завышенные ожидания, основанные на том, ложных предположениях о корелляции между характеристиками испытуемого, которые могут быть вообще не связаны.
ОтветитьУдалитьУровень навыков, непосредственно задействованных в решении, тест показывает абсолютно объективно
(как это ни банально звучит). А вот то, как коррелируют непосредственно измеренное с теми характеристиками , которые, собственно, и нужно узнать - большой вопрос. И, вполне может получиться, что никак.
При этом никого не удивляет, что количество подтягиваний на перекладине, которое может выпонить испытуемый не всегда кореллирует с временем, за которорое он может пробежать 10 км.
Но то, что скорость нахождения закономерностей в рядах цифр не обязательно положительно кореллирует со, скажем, способностью придумывать сложные алгоритмы - неочевидно.
И из этого часто делается вывод, что, дескать, тест плохой.
Думаю, с развитием знаний о физиологии мыслительных процессов эти закономерности будут установлены более-менее точно.
Например, будет известно, что отдел мозга X ответственен за способности X1,X2,X3. А способность X3 - это умение быстро перемножать большие числа.
Вуаля - нужен человек с высоким уровнем X1 или X2 - ищем кандидата, который считает в уме как человек дождя.
А статья (или процитированная в ней книга) точно настоящая? Просто задачки на логику - легко проверяемы (проверил 1.11, 2.14, 5.13). И масса народу в состоянии решить их правильно - после чего заглянуть в ответы и возмутиться. Так что безобразие в тесте не должно было пройти незамеченным.
ОтветитьУдалитьЧто касается задач, где возможно несколько ответов - в попадавшейся мне книжке с тестами IQ было предисловие. В котором писалось - мол, если ответ другой, но испытуемый может его обосновать - ответ принимается. Это, конечно, затрудняет автоматизированное тестирование, но снимает одну из претензий к тестам.
// aamonster - что-то OpenId или ЖЖ отвалился.
Kaener, если нам говорят "некоторые из крякающих являются тракторами", но при этом бывает ситуация, когда никто из крякающих тракатором не является (что показано в статье), то нам врут.
ОтветитьУдалитьЭто так, даже если бывают ситуации, когда утверждение всё-такие верно (как на Вашей картинке).
Приведу более практический пример - утверждение "прыжок с крыши спасает жизнь" ложно, так как многие люди лишились жизни, прыгнув с крыши. И это так, даже если кто-то спас свою жизнь от пожара, удачно прыгнув с крыши.
aamonster, легко проверить, что книга настоящая. Более того, написана она не каким-то сомнительным последователем, а автором методики. Возможно, предположения Basilevs имеют место быть: образованные люди, которые могут найти ошибки в этом тесте, не считают нужным это делать. А остальные просто проходят его, не понимая, где ошибаются они, а где - авторы заданий.
Во второй статье (по ссылке) делается замечание, что важен не ответ, а ход мысли испытуемого. Наверно, это так, но кто будет оценивать этот "ход"?
ОтветитьУдалитьЕсть у меня пример на эту тему, если интересно.
Дело было в студенческие годы, проходил какой-то тест с психологом, в одном из вопросов нужно было исключить лишнее. Список выглядел так: "Многоэтажка, собачья конура, избушка, вигвам"
Я сказал, что могу исключить любой из этих объектов, опираясь на разные связующие их признаки. Некоторые - даже по нескольку раз. На что психолог ответил мне: "Будешь выпендриваться - запишу тебе в дело атрофию логического мышления" Т.е., остается та же проблема, что и в первой статье - тест, во многом, отражает уровень интеллекта составителя.
Тоже помню на каких-то тестах бывало было чувство что ответ неопределен, хотя варианты были конкретные, после прочтения ответов, приходило понимание "а вот что автор, оказывается, имелл в виду". Так как автор более авторитетный человек, чем я, школьник, тогда, решил что просто по невнимательности неправильно сформировали вопрос, а не то что автор - дурак. )
ОтветитьУдалитьJekyll и al31f, я тоже сталкивался с такой проблемой... В общем случае она формулируется так: прибор не может измерять с точностью большей, чем точность устройства, которое его изготовило.
ОтветитьУдалитьИлья, а вот насчет точности прибора - поспорю. Пример: с помощью грубо изготовленной линейки можно замерить толщину проволоки - просто намотать ее виток к витку и измерить, скажем, сколько места займут 100 витков.
ОтветитьУдалитьАналогично и со всякими психологическими тестами: составителю не обязательно быть умнее испытуемого - есть косвенные методы.
//aamonster
aamonster, нельзя сравнивать грубую линейку и умного человека с грубой линейкой!
ОтветитьУдалитьИнструкция, предписывающая наматывать проволоку на линейку - это существенное изменение конструкции самой линейки. Так мы получаем новый инструмент, имеющий совсем другую точность, чем у "просто линейки, которую применяют традиционным образом". Поэтому предложенный пример некорректен.
И с тестированиями такой же эффект: если тесты составил глупец, а проведением тестирования занимается умный человек, то результат может быть более адекватный, чем если хороший тест применяется глупым ассистентом (как в примере Jekyll).
Илья, тем не менее, лично я вполне в состоянии составить тест, который оценивает способность к решению задач (не будем говорить об интеллекте, чтобы не путаться), превышающую мою. Достаточно ставить такие задачи, что проверка правильности решения окажется проще, чем решение задачи.
ОтветитьУдалитьaamonster, не спорю. Только надо где-то взять сложные задачи, которые составитель решить не может, но решения которых ожидает от испытуемого, так? При этом составитель:
ОтветитьУдалить1) откуда-то должен знать правильные ответы для этих задач (что можно организовать),
2) быть уверенным, что эти задачи не просто сложные, но и осмысленные.
Приведу пример: можно в выражении, например, (x-5)*(x-9)*(x-11)*(x-12) раскрыть скобки и приравнять его нулю. Получим уравнение четвёртой степени x^4-37*x^3+499*x^2-2883*x+5940=0, которое не так просто решить. При этом составитель его получил легко (для этого особая квалификация не нужна) и точно знает верные ответы. Вот только знает ли он полезность умения решать такие уравнения, если сам их решать не умеет? Он может сказать, смог ли испытуемый справиться с такой задачей, но не знает, что это значит (как это его характеризует). Поэтому подобное тестирование не может быть осмысленным для испытуемого с квалификацией выше, чем у организатора теста.
Возможно, Вы хотите привести какой-то пример интересного типа заданий для квалифицированных людей, составленных низкоквалифицированным человеком, который понимает результаты созданного им теста? Это было бы очень здорово!
Наверняка многие знают эту историю, но всё же, её стоит разместить, если хотя бы для кого-то она внове.
ОтветитьУдалитьСэр Эрнеcт Резерфорд, президент Королевской академии и лауреат Нобелевской премии по физике рассказывал такую историю:
Однажды к нему обратился коллега за помощью. Он собирался поставить самую низкую оценку по физике одному из своих студентов, в то время как тот утверждал, что заслуживает высшего балла. Оба — преподаватель и студент — согласились положиться на суждение третьего лица, незаинтересованного арбитра. Выбор пал на Резерфорда. Экзаменационный вопрос гласил: «Объясните, каким образом можно измерить высоту здания с помощью барометра?».
Ответ студента был таким: «Нужно подняться с барометром на крышу здания, спустить барометр вниз на длинной верёвке, а затем втянуть его обратно и измерить длину верёвки, которая и покажет точную высоту здания».
Случай был и впрямь сложный, так как ответ был абсолютно полным и верным! С другой стороны, экзамен был по физике, а ответ имел мало общего с применением знаний в этой области.
Резерфорд предложил студенту попытаться ответить ещё раз. Дав ему шесть минут на подготовку, он предупредил его, что ответ должен демонстрировать знание физических законов. По истечении пяти минут студент так и не написал ничего в экзаменационном листе. Резерфорд спросил его, сдаётся ли он, но тот заявил, что у него есть несколько решений проблемы, и он просто выбирает лучшее.
Заинтересовавшись, Резерфорд попросил молодого человека приступить к ответу, не дожидаясь истечения отведённого срока. Новый ответ на вопрос гласил: «Поднимитесь с барометром на крышу и бросьте его вниз, замеряя время падения. Затем, используя формулу, вычислите высоту здания».
Тут Резерфорд спросил своего коллегу преподавателя, доволен ли он этим ответом. Тот, наконец, сдался, признав ответ удовлетворительным. Однако студент упоминал, что знает несколько ответов, и его попросили открыть их.
— Есть несколько способов измерить высоту здания с помощью барометра, — начал студент. — Например, можно выйти на улицу в солнечный день и измерить высоту барометра и его тени, а также измерить длину тени здания. Затем, решив несложную пропорцию, определить высоту самого здания.
— Неплохо, — сказал Резерфорд. — Есть и другие способы?
— Да. Есть очень простой способ, который, уверен, вам понравится. Вы берёте барометр в руки и поднимаетесь по лестнице, прикладывая барометр к стене и делая отметки. Сосчитав количество этих отметок и умножив его на размер барометра, вы получите высоту здания. Вполне очевидный метод.
— Если вы хотите более сложный способ, — продолжал он, — то привяжите к барометру шнурок и, раскачивая его, как маятник, определите величину гравитации у основания здания и на его крыше. Из разницы между этими величинами, в принципе, можно вычислить высоту здания. В этом же случае, привязав к барометру шнурок, вы можете подняться с вашим маятником на крышу и, раскачивая его, вычислить высоту здания по периоду прецессии.
— Наконец, — заключил он, — среди множества прочих способов решения данной проблемы лучшим, пожалуй, является такой: возьмите барометр с собой, найдите управляющего и скажите ему: «Господин управляющий, у меня есть замечательный барометр. Он ваш, если вы скажете мне высоту этого здания».
Тут Резерфорд спросил студента, неужели он действительно не знал общепринятого решения этой задачи. Он признался, что знал, но сказал при этом, что сыт по горло школой и колледжем, где учителя навязывают ученикам свой способ мышления.
Студент этот был Нильс Бор (1885–1962), датский физик, лауреат Нобелевской премии 1922 г.
abyrvalg, спасибо за чудесный пример, являющийся прекрасной иллюстрацией к заметке :)
ОтветитьУдалитьК вопросу о тестах на теорию множеств.
ОтветитьУдалитьAre You a Cognitive Miser?
Постарайтесь не читать ответ сразу. Он там, к сожалению, близко в вопросу.
Basilevs, спасибо за хорошую ссылку!
ОтветитьУдалитьПрисоединяюсь к совету: не читайте текст после постановки вопроса! Так будет интереснее :)
Заглянул сюда по ссылке в новой статье. %)
ОтветитьУдалитьСпасибо, Кэп.
Еще в школе, в классе шестом, я пытался объяснить, что в этих тестах правильный ответ неоднозначен. Особенно если дана последовательность из нескольких чисел и надо продолжить ряд, то алгоритмов экстрполяции может быть бесконечное множество, при этом демонстрировал, что тривиальных алгоритмов может быть несколько штук. На меня смотрели как на идиота.
chabapok, одно дело - продолжать последовательности, а другое - решать честные логические задачи. В статье предложены примеры именно логических задачек, с которыми их авторы не смогли справиться. И неприятность этой ситуации состоит в том, что умный человек, не зная заранее, где ошиблись составители, получит меньше баллов, чем тестируемый, допускающий ошибки.
ОтветитьУдалитьС общей мыслью статьи Левковича-Маслюка согласен: измерения интеллекта далеки от совершенства. Но хочу сказать пару слов в защиту реальной тестологии, а не её шаржированного портрета, "изучаемого" автором статьи. Тесты Айзенка действительно известны специалистам давно и пользуются уважением. Таким уважением, что имя превратилось в бренд. А под любой бренд на Дерибасовской штампуется контрафакт. Может быть (и это грустнее) - сам хозяин бренда начал гнать ширпотреб "для жёлтой прессы".
ОтветитьУдалитьПо-настоящему надёжный тест сам тестируется на валидность на многотысячной выборке людей, ранжированных по многим параметрам (в том числе и по успехам в физике и математике), и "правильными" признаются не авторские ответы, а наиболее распространённые среди наиболее "ранговитых". По крайней мере так было в двадцатом веке :)... И задачек из теории множеств в классическом Айзенке уж точно не было и в помине!