Треть баллов ЕГЭ по математике 2013 года – фальсификация?

20 мая на сайте Slon.ru вышла заметка «Десятки тысяч выпускников просто выигрывали свой результат в "лотерею"». Оказывается – и это новость, – в стране уже целых 5 лет действует рабочая группа, которая по заказу Рособрнадзора исследует статистическими методами фальсификации при проведении процедуры ЕГЭ. Руководители этой группы (директор МЦНМО Иван Ященко и завкафедрой высшей математики ВШЭ Алексей Макаров) ответили на широкий спектр вопросов, касающихся не только собственно ЕГЭ, но и общих проблем образования. В принципе со многими их суждениями я готов согласиться (где-то полностью, где-то частично), но есть несколько утверждений, которые либо вызывают искреннее недоумение, либо допускают иную интерпретацию, отличную от декларируемой в статье.

Я провел собственные расчеты на основе открытых данных о ЕГЭ по математике и пришел к выводу, что уровень фальсификаций 2013 года намного выше.

На пресс-конференции 28 июня 2013 года представитель Рособрнадзора предъявил собравшимся слайд с распределениями баллов ЕГЭ по математике в 2011–2013 годах. Мне удалось его скопировать. Вот он.

Результаты ЕГЭ по математике в 2011–2013 годах, тысяч человек

Результаты ЕГЭ по математике в 2011–2012 годах образуют распределение в форме колокола. Форма кривой результатов 2013 года тоже напоминает колокол, но с наличием явно видимых дефектов в виде горбов, провалов, сдвигов и прочих статистических извращений (вообще, создается впечатление, что в 2013 году кривая набранных баллов перенесла очень серьезную болезнь). 

Следует заметить, что колоколообразное распределение для набранных баллов ЕГЭ получилось не случайно – в природе такие кривые появляются с завидной регулярностью. Их называют нормальным распределением, или распределением Гаусса. (Если сильно упростить, то распределение оценок должно иметь форму колокола без лишних пиков и провалов в том случае, если не было внешнего влияния, искусственно отсекающего одни баллы и добавляющего другие. В распределении Гаусса пик кривой – это и есть арифметическое среднее для всего распределения. – Slon.) 

Для корректного описания идеального нормального распределения достаточно знать всего лишь два параметра. Первый – это средняя величина распределения (на рисунке ниже это параметр μ). Второй параметр – это так называемое среднеквадратичное отклонение (на рисунке это параметр σ, сигма), которое характеризует ширину нормального распределения.

Пример нормального распределения

Кривая плотности распределения набранных тестовых баллов ЕГЭ с 2011 по 2013 год с каждым годом неуклонно сдвигается вправо, что естественно означает рост среднего балла ЕГЭ по математике. Распределение за 2010 год также доступно в открытых источниках и полностью укладывается в эту закономерность. 

Я взял официальные картинки распределения набранных баллов ЕГЭ за 2010–2013 годы, восстановил по ним численные значения плотностей распределения, далее по плотностям посчитал средние баллы и среднеквадратичные отклонения. Для сравнения привожу и официальные значения средних баллов – их отличие от расчетных средних я могу объяснить лишь недоработками Министерства образования.

рост уровня фальсификаций – основная причина. Выпускники, получившие «помощь» в любом виде, получают большее количество баллов, чем положено им по нормальному распределению, следовательно, распределение растягивается по горизонтали; рост распространенности института репетиторства – вспомогательная причина. Услугами репетиторов пользуются большей частью мотивированные и толковые выпускники. Они и без репетиторов в любом случае были бы правее среднего балла по стране, но в результате дополнительных занятий их отрыв еще увеличивается.

Исходя из всей информации, которая есть в открытом доступе, и базового понимания ситуации в целом, разумно предположить, что качество подготовки детей к экзамену год от года росло плавно и равномерно – аномального сдвига в 2013-м оно вызвать не могло. Сложность КИМов [контрольно-измерительных материалов, то есть заданий ЕГЭ] с 2011 по 2013 год оставалась примерно одинаковой.

Это означает, что в 2013 году в сравнении с 2012 годом произошел рост (возможно, в разы) уровня фальсификаций, что видно как по увеличению среднего балла на 4 единицы (с 44 в 2012 году до 48 в 2013-м), так и по росту среднеквадратичного отклонения на 2 единицы (с 16 до 18 – на уровне страны это очень большое изменение).Также не забываем про наличие видимых деформаций графика кривой ЕГЭ-2013.
С учетом всего сказанного сдвиг кривой ЕГЭ-2013 относительно кривой ЕГЭ-2012 должен отличаться от сдвига предыдущего года лишь повышенным уровнем фальсификаций. Я попытался его оценить, измерив площади непересекающихся частей кривых за эти три года. (Подробнее о методике расчета читайте в примечании*. – Slon.)
По моим расчетам, в 2013 году как минимум 27,3% баллов были получены с фальсификациями разного рода. Для получения абсолютного значения фальсификаций в 2013 году необходимо добавить к ним ненулевой уровень фальсификаций в 2012 году. 

Для утверждения, что нулевым он не был, достаточно открытых данных Рособрнадзора. Один лишь эффект натягивания баллов двоечникам для прохождения минимального порога ЕГЭ (24 балла из 100) во время пересдач в масштабах страны я оценил в 1,7% баллов. Эта оценка сделана на примере Республики Башкортостан в 2012 году, где с разницей в пару дней двоечники смогли улучшить свой средний балл на 20,7 балла. (Алексей Макаров в интервью Slon оценил базовый уровень фальсификаций 2012 и 2013 года без учета списывания из интернета в 6–8% от всех участников ЕГЭ. – Slon.)

К счастью, Рособрнадзор выдал в публичной доступ достаточно информации, чтобы мы могли самостоятельно составить свое мнение по этому вопросу, основываясь исключительно на официальных данных. Так, на графике ниже представлены статистические данные Рособрнадзора по математике за 2012 и 2013 годы, сгруппированные по диапазонам в 10 тестовых баллов ЕГЭ. Я убрал столбцы от 0 по 60 баллов, поскольку они не относятся к высокобалльным результатам.

Распределение выпускников по баллам ЕГЭ по математике в 2012–2013 годах

Источник: Официальный информационный портал ЕГЭ

Отсюда путем нехитрых арифметических вычислений легко получить рост числа высокобалльников 2013 года по сравнению с 2012-м. Для числа выпускников, набравших 71+ баллов, имеется как минимум двукратный рост. Если Алексей Макаров считает, что наблюдаемый двукратный рост не является результатом утечек, то тогда очень бы хотелось услышать из его уст объяснение этого феномена. Было бы неплохо услышать также и объяснение феномена структуры роста – чем правее мы берем хвост нормального распределения, тем больший рост мы наблюдаем. Для диапазона 91+ баллов рост составляет 5,2 раза, а для диапазона 81+ баллов – почти трехкратный рост.

Наверное, кто-то может сказать, что в 2013 году на страну вдруг обрушилась эпидемия улучшения качества школьного образования по математике или подготовки к сдаче ЕГЭ. Хорошо, пусть это так, тогда возникает следующий вопрос: а какие школы обеспечили наблюдаемое улучшение? 

Логично думать, что в первую очередь этот прорыв должен быть заметен на лучших школах страны, ведь именно там сосредоточены наиболее толковые и мотивированные ученики. Для семи российских школ, входящих в перечень 500 лучших школ страны, мне удалось найти первичные данные по результатам ЕГЭ по математике.

Суммарный рост по всем семи школам дает значение в 1,2 раза, т.е. лишь 20% из 100% роста числа выпускников, набравших 70+ баллов, обеспечивается лучшими школами страны. Конечно, данная таблица не является доказательством, поскольку данную выборку нельзя признать статистически значимой. Однако это аргумент в пользу того, что если эпидемия улучшения качества образования имела место, то проявилась она почему-то не в лучших школах, а во множестве средних по качеству школ (не входящих в число ведущих как в своем регионе, так и в масштабе страны). Так произошло ли массовое улучшение работы средних школ? Вряд ли. Тогда хотелось бы понять, за счет каких факторов произошел в 2013 году данный рост. 

Иван Ященко приводит также такой аргумент: «По вариантам, попавшим и не попавшим в интернет, очень хорошо видно, на кого эта утечка повлияла. Она почти не повлияла на тех, кто в итоге набрал высокие баллы». Однако распределение, которое он демонстрирует в доказательство, допускает и другие объяснения. 

Во-первых, не факт, что рабочей группой были замечены все утекшие варианты. Думаю, что действительно почти все продавцы ЕГЭ использовали социальные сети для поиска клиентов, но продавцы поумнее наверняка распространяли реальные варианты КИМов не через социальные сети, а через электронную почту.

Теоретически рабочая группа имела возможность отследить такие утечки посредством включения в американскую программу «Эшелон», но на практике в это абсолютно не верится. Не надо думать, что эта проблема уникальна для Рособрнадзора, именно ту же проблему имеет, например, Министерство внутренних дел, когда задает себе следующий вопрос: насколько статистика раскрытых преступлений по стране адекватно представляет общую структуру преступлений? Это вопрос, ответ на который совсем не очевиден и требует отдельного дорогостоящего изучения.