23 мар. 2010 г.

Чёрно-белая жизнь и ЕГЭ

Сегодня мы поговорим о вреде чрезмерного внимания к планированию и формализации.

Раньше, слыша словосочетание «чёрная бухгалтерия», я не понимал, зачем нужны все эти усложнения. Казалось бы, можно же честно заплатить все налоги, чтобы не беспокоиться вообще. А потом знакомые бухгалтера мне объяснили, что это возможно далеко не всегда. Оказывается, многие правила работают только для сферического бизнеса в вакууме, а в конкретных жизненных ситуациях так бывает, что физически невозможно легально оформить некоторые вопросы. И мы сейчас не будем говорить про статью расходов «взятки за то, что должно само работать по закону» (я знаю компании, которые смогли найти возможность обойтись без них). Мы говорим именно о принципиальной несовместимости некоторых пунктов закона, что вынуждает систематически нарушать закон или отказаться от ведения бизнеса. То есть, ситуация как на дорогах: иногда можно встретить в городе сочетание знаков, которого там быть не должно. Но оно есть, поэтому ему надо соответствовать. Это значит, что любое действие (кроме избегания этой конкретной улицы) автоматически приводит к формальному нарушению правил.

Через некоторое время мне пришлось узнать, что даже в школах нельзя обойтись без «чёрной бухгалтерии». Пример: темы и даты уроков в календарном плане должны быть проставлены заранее. Вроде бы неплохая инициатива - распланировать на год весь перечень тем, чтобы ничего важного не забыть. Но есть одна проблема: бывают непредвиденные обстоятельства:
- отмена занятий из-за плохой погоды или подготовки к местным выборам (обычно в пятницу),
- срыв урока из-за эпидемии какого-нибудь вируса (когда в класс приходит 2-3 человека) или болезни учителя,
- срыв большей части урока из-за того, что «пришло время всем ставить прививки»,
- отсутствие мальчиков в классе, потому что их всех отправили на осмотр в военкомат,
и так далее.
Да и не так легко распланировать, сколько уроков в этом году потребуется на каждую тему. Иногда удаётся быстро уложить знания в головы, а иногда очень трудно тема идёт... Поэтому идеально соответствовать своему же плану невозможно (а писать его в расплывчатом виде тоже нельзя - всё должно быть чётко).

Казалось бы, если что-то пошло не по плану, то разве это проблема? Нет, конечно, всё же можно постепенно нагнать (слегка уменьшив время на будущие темы)! Но тонкость в том, что чиновники, проверяющие школы, не вникают в такие мелочи. Для них важно, что отсутствует соответствие заявленного (плана на год) и реального (фактических записей в журнале). И их можно понять, если захотеть: когда не могут проверить содержание, то проверяют форму (а содержание занятий они проверить не в состоянии).

К чему это приводит? К тому, что часть людей привыкает вести двойной учёт. Например, некоторые учителя ведут два журнала:
- один для чиновников (там всё идеально, потому что текущие данные просто переписываются из плана),
- другой для себя (чтобы вести настоящий учёт прошедших занятий).

Почему они это делают? Потому что никто не хочет проблем. Дело в том, что именно за подобные формальные несоответствия прилетают санкции, так как по сути никто разобраться не может (чтобы наказывать за дело, где это требуется).

Нужны ли планы? Да, конечно! Они позволяют оценить примерные сроки, количество людей, бюджет и так далее. Но жёсткий контроль соответствия плана и реальности всё рушит: люди начинают подгонять реальность под план. Например, часто милиционеры стараются под разными предлогами не принимать заявления о краже телефонов (и прочих мелочах, которые почти невозможно раскрыть), потому что имеют план раскрываемости.

Всё, что было написано выше, не выглядит шибко плохим. Одни пишут ложь, а другие проверяют ерунду - все довольны. Но проблема в том, что люди привыкают разделять реальность и документы. Это приводит к тому, что следующие формальные нарушения делать уже совсем легко.

Приведу мрачный пример из жизни учителей математики. Такие рассказы я слышал от нескольких школьников из разных городов, когда участвовал в собеседованиях, поэтому не считаю эту проблему локальной и надуманной. Итак, когда я вижу, что ребёнок не понимает простейших геометрических задач, то спрашиваю у него, как же так получилось. И тогда школьники отвечают примерно следующее: «А наша учительница сказала, что мы не будем изучать геометрию на уроках, потому что в ЕГЭ заданий на алгебру гораздо больше».

Понимаете? Министерство образования утверждает какие-то учебные планы (которые могут нравиться или не нравиться - это другой вопрос), формирует учебники, создаёт структуры для контроля. А учителя «на местах» всё равно ориентируются на необходимость натаскивать на ЕГЭ. Учителя уже привыкли подгонять отчётность под план, поэтому уверенной рукой пишут, что в такие-то числа такого-то месяца они проходили, например, тему о треугольниках и решали задачи, но это совершенно не соответствовало реальности. Потому что планы нужны, не для их выполнения, а для подготовки документов о их выполнении. В этом я вижу большую проблему.

И эта практика становится привычной и обыденной. В руководствах для проверяющих ЕГЭ не требуется контроль правильности решения школьника, а необходимо совпадение его решения с эталонным. Согласитесь, это не очень соответствует духу правильного образования. Но идеально соответствует духу формальных и бездумных проверок.

Если вам интересно посмотреть на тему планирования с других углов зрения, то рекомендую недавнюю заметку Давыдова «О планировании». Он больше обращает внимание на планы для самого себя, но примеры предлагает занимательные.

Хорошего дня!

15 комментариев:

  1. Анонимный23.03.2010, 21:30

    не стоит путать двойную бухгалтерию с черной: http://www.buh.ru/document-747

    А если по теме, то есть идеи по усовершенствованию метрик? Производительность программистов тоже по количеству строчек когда то считали.. Хотя почему когда-то? Я на прошлой неделе столкнулся с этим явлением. :-( Правда там действительно по делу было..

    ОтветитьУдалить
  2. У меня много комментариев и ещё больше ссылок. :-) Постараюсь ничего не забыть.

    Мне заметка очень понравилась. Я также прошёлся по ссылкам с этого поста и прочитал старые заметки, в некоторых я отметился и цитаты из некоторых привёл в своём блоге.

    Заметка заканчивается ссылкой на пост Давыдова "О планировании". На самом деле у него есть целая серия постов о планировании, если интересно выдержки оттуда и ссылки на полный пост можно найти у меня тут Давыдов: о планировании.

    В Израиле есть "психометрия" - это некое подобие ЕГЭ. Немного о ней с примерами вопросов я написал тут Немного о психометрии.

    На самом деле предыдущую заметку я вынес в отдельный пост разбив мою другую заметку на две части, уж очень большой она вышла. Эта "большая заметка" есть мои комментарии к твоему посту и её можно найти тут Люди начинают подгонять реальность под план.

    P.S. В прошлом посте я забыл поставить пару точек в конце предложений (все в конце абзаца). Этого я себе простить не могу. :-)

    ОтветитьУдалить
  3. Уважаемый аноним, спасибо за терминологическую правку!

    Идеи об усовершенствовании метрик в этой заметке не обсуждаются. Речь шла о том, что слишком жёсткие санкции за несоответствие одних строчек другим (которые и не должны соответствовать), приводят к тому, что люди привыкают лгать. Соответственно, привыкнув подгонять реальность под план (чтобы не наказали), люди гораздо легче идут на другие нарушения. Это уменьшает управляемость системы, поэтому даже путёвые инициативы разрушаются о зыбкий фундамент обманывающих исполнителей. Какие тут могут быть метрики, если все отчёты пишут люди, которые не считают, что в этих отчётах должна быть правда?

    alexsmail, спасибо за интересную информацию!

    ОтветитьУдалить
  4. > В руководствах для проверяющих ЕГЭ не требуется контроль правильности решения школьника, а необходимо совпадение его решения с эталонным.
    Да, это не есть хорошо. Но там, где есть только ответы, по другому и не проверишь, а для части С есть апелляция.
    Впрочем, старая система, где задачи публикова в сборниках, фактически проверялось умение детей списывать с решебников (ну и умение решать задачи у составителей решебников), что ещё печальнее. Медальные работы по математике могли завернуть из-за орфографических или синтаксических ошибок.

    ОтветитьУдалить
  5. Анонимный24.03.2010, 10:13

    В руководствах для проверяющих ЕГЭ не требуется контроль правильности решения школьника, а необходимо совпадение его решения с эталонным.
    --------
    Для части С это неверно. Более того, сейчас требования к объяснениям в части С очень упали. Посмотрите в мой ЖЖ на последний пост

    ОтветитьУдалить
  6. LisandreL, речь именно о части С (потому что только в ней предъявляется решение, а не только ответ). Я специально дал ссылку на заметку, в которой в прошлом году описывал "правильный" способ проверки. Проблема в том, что надо не просто получить верный ответ, но и угадать способ, который выбрал составитель задания.

    jan_kiepura, свежей информации по части С я пока не имаю, поэтому пишу про прошлогоднее. А о каком Вашем посте речь? Не условие же задачи о "3^x=y^3+1" Вы хотели показать?

    ОтветитьУдалить
  7. Кстати, в стандарте MRP-II (стандарт управления логистикой и производством) для решения этого противоречия используется понятие иерархической системы планирования. Чем дальше горизонт планирования, тем в более обощённых единицах оно ведётся. Аналогичный подход и в стандарте управления проектами PMBOK.
    Таким образом, планов всегда несколько, и только оперативный, на короткий срок, формулируется в понятиях самого нижнего уровня.

    ОтветитьУдалить
  8. В данном случае тренировка невыполнимыми календарными планами идёт только в плюс. Нормальные проверяющие, которые понимают в математике, понимаю, что не все инструкции одинаково хороши. И проверяют правильность, а не эталонность решения. Это я вам не просто так говорю - у меня оба родителя в проверочной комиссии с самого введения ЕГЭ.
    Ну а те, кто в математике плохо разбирается (а, увы, таких учителей и преподавателей тоже хватает), всё равно никак иначе, как сверив с шаблоном, проверить задачу и не смогут.
    Когда на такую проверку натыкался на городской олимпиаде по математике было довольно грустно, но как я уже писал выше: апелляция - это выход, если вам не повезло с проверяющими.

    ОтветитьУдалить
  9. LisandreL, спасибо за ещё один пример для этой заметки!

    Вы сообщили, что правила проверки систематически нарушаются некоторыми преподавателями (которые "лучше знают, как надо проверять"). Эти преподаватели сначала расписываются в документах о том, что будут следовать этим правилам, а потом не выполняют их, считая, что сами лучше знают.

    Но на чём основана уверенность, что так нарушают только квалифицированные проверяющие? Неквалифицированные с тем же успехом могут нарушать инструкции, искажая оценку ЕГЭ в любую сторону... (безо всякого злого умысла)

    Кстати, есть механизм, позволяющий с этим бороться. Если я правильно помню, то проверкой части С занимаются два равноправных преподавателя (в разных местах). В случае, если их оценки за задачу совпали, в итоговую таблицу идёт их результат. А если не совпали, то оценку выставляет третий проверяющий - более квалифицированный (и делает это, не общаясь с первыми двумя). Такая схема уменьшает влияние людей, которые не согласны тупо следовать инструкциям.

    А аппеляция хорошо может сработать только в том случае, если в комиссии хватает квалифицированных товарищей. Хорошо, что это часто так, но наивно думать, что это спасение для всех школьников.

    ОтветитьУдалить
  10. Ваши бы слова да богу в уши, как говорят. Жаль что "первый блоггер" так же треперся языком, а не делает..

    ОтветитьУдалить
  11. На самом деле введение ЕГЭ очень сомнительная процедура. На примере той же Информатики - есть несколько базовых примеров, которые решаются одним методом. По аналогии с этими примерами создаются варианты ЕГЭ. В итоге лучше всего напишет тот, кто овладеет этими методиками, а не тот, кто больше знает и понимает. Слишком мал процент новых заданий и это удручает!

    ОтветитьУдалить
  12. Человеческая оценка вообще субъективна по определению.
    Механизм, насколько я помню, немного другой. Оценка ставится двумя разными людьми (на счёт разных мест условия нет, просто работы проверяются анонимно и проверяющие не знают даже проверялась ли эта работа уже или нет).
    Если оценки разошлись не более, чем на балл, то ставится большая из двух.
    Если расхождение больше, то задание оценивается по оценке третьего проверяющего (ни о какой большей квалификации речи нет, просто ещё 1 из проверяющих не знающий какая это по счёту проверка - первая, вторая или третья).

    Если квалифициорванных товарищей в комиссии мало, то и эта схема тройной проверки непоможет.
    На самом деле проблема в том, что многие учащиеся побоятся/не захотят идти на апелляцию спорить с учителями.

    P.S.
    Теперь о том, позволяет ли этот механизм с чем-то бороться. Предположим, что доля проверяющих, ставящих верную оценку равна x, а неверную, соответственно, (1-x).
    Тогда при одном проверяющем ваш шанс получить правильную оценку равен x.
    Теперь по данной схеме с вероятностью x*x вы после 2 проверок получаете правильную оценку, с вероятность (1-x)*(1-x) - неправильную, и шанс 2x*(1-x) - попасть к третьему проверяющему.
    Ну и в итоге получаем шанс на верную оценку 3x^2-2x^3.
    Смотрим на график: bit.ly/c2Aeoe
    Положительный сдвиг есть, но разумеется тоько в том случае, если более половины проверяющих ставят правильные оценки.

    Disclaimer: на самом деле, в этих рассчётах не учтено, что могут совпасть верная и неверная оценка решения могут совпасть(за счёт зазора в 1 балл) и что 2 неверные оценки могут несовпасть.

    ОтветитьУдалить
  13. Анонимный26.03.2010, 07:57

    Да-да, условие и решение задачи про степень тройки. Так вот, ясно что это НЕ эталонное решение. Но ставить за него по правилам надо 4 балла.

    ОтветитьУдалить
  14. Анонимный28.03.2010, 01:05

    Реальность и документы, говорите?
    То, что кто-то из учеников не знает геометрии, -- его проблема.
    Но представьте ситуацию: бортовое авиационное оборудование проходит испытания... на бумаге! Отчётность -- на высоте! Планы -- выполнены! Дачи начальства -- вырасли в 3 этажа! Премии работников пониже -- уже в карманах!
    Только вот тут проблемы уже не конкретного предприятия, а будущих пассажиров.
    А как вы думаете, почему Россия не может поднять свой технический и технологический уровень и конкурировать с западными странами? А потому что главное в работе -- это отчёт о ней, а не она сама.

    ОтветитьУдалить
  15. jan_kiepura, спасибо за информацию.

    Уважаемый аноним, об этом и речь!
    Подмена деятельности написанием отчётов оказывается выгодной для исполнителей, потому что часто проверяют отчёты, а не работу :(

    ОтветитьУдалить

Понравилась заметка? Подпишитесь на RSS-feed или email-рассылку.

Хотите поделиться ссылкой с другими? Добавьте в закладки:



Есть вопросы или предложения? Пишите письма на адрес mytribune АТ yandex.ru.

С уважением,
      Илья Весенний