Иллюстрация: Gary Myrick / Library of Congress
Авторы мирового бестселлера «Шум. Несовершенство человеческих суждений» (русский перевод вышел недавно в издательстве АСТ) — настоящие суперзвезды современной прикладной психологии. «Отец поведенческой экономики» Даниэль Канеман, лауреат Нобелевской премии по экономике 2002 года, известен в России прежде всего как автор книги «Думай медленно, решай быстро» (оригинальное название — Thinking, Fast and Slow), в которой популярно изложена теория двух систем мышления («медленной» и «быстрой») и анализируются когнитивные основы психологических смещений (предвзятостей).
Новая книга Канемана, соавторами которого на этот раз выступили почти столь же знаменитые Касс Санстейн и Оливье Сибони, продолжает тему когнитивных искажений, но на этот раз с акцентом на внешние факторы, ведущие к ошибкам в суждениях.
Касс Санстейн — гарвардский психолог, философ и юрист, автор знаменитой «теории подталкивания» (nudge theory), согласно которой на выбор индивидуального или группового решения можно повлиять с помощью «положительного подкрепления и непрямых указаний». Популярное изложение этой теории содержится в книгах Санстейна «Nudge. Архитектура выбора» и «Иллюзия выбора»
Оливье Сибони — управляющий партнер компании McKinsey (1991–2015), психолог и бизнес-консультант, специализирующийся на процессах принятия стратегических решений, профессор Парижского университета.
Во Введении к «Шуму» авторы крайне наглядно объясняют, о чем идет речь: «Представьте, что в стрелковый тир пришли четыре компании друзей. В компаниях по пять человек; они получают по винтовке на команду, и каждый участник производит один выстрел. Результаты показаны на рисунке 1:
Рисунок 1
В идеале все выстрелы попали бы точно в «десятку». У команды А почти так и вышло: все попадания сгруппировались возле цели.
Результаты команды B можно назвать смещенными, поскольку все промахи легли по одну сторону от «яблочка». Систематичность промахов, наглядно представленная на рисунке, позволяет предположить, что очередной выстрел пришелся бы недалеко от первых пяти, а также что у винтовки, возможно, попросту сбит прицел.
Результаты команды C мы назовем шумными: попадания разбросаны по всей мишени. Поскольку они все-таки сосредоточены преимущественно вокруг центра, очевидного смещения не наблюдается. Если участник команды выстрелит снова, мы едва ли сможем предугадать, куда он попадет. Более того, нам не удастся выдвинуть никакой содержательной гипотезы, чтобы объяснить подобный результат. Эта команда стреляет плохо. Почему в их результатах столько шума — неизвестно.
У команды D результаты смещенные и шумные одновременно: систематические промахи.
Смещение и шум, или, другими словами, систематические отклонения и случайный разброс, — это составляющие наших ошибок, продолжают авторы, и пример с мишенями наглядно показывает, в чем между ними отличие: «Одни суждения содержат смещения и систематически не попадают в цель. Другие можно назвать шумными: вместо согласованных действий мы видим попадания, разбросанные по всей мишени. К несчастью, для многих организаций характерны оба типа ошибок». Важное отличие между смещением и шумом показано на рисунке 2:
Рисунок 2
Представьте, что вы заглядываете на оборотную сторону мишеней, где «яблочко» не обозначено. С этой стороны вы не определите, кто оказался ближе к «десятке»: команда А или команда B. Зато сразу же понятно, что шумный результат именно у команд С и D, ведь разброс попаданий здесь так же очевиден, как и на рисунке 1. Шум можно обнаружить и измерить, пишут авторы, даже ничего не зная ни о цели, ни о смещении, — это одно из его основных свойств.
С любезного разрешения издательства публикуем отрывок из главы «Преступление и шумное наказание», где показано, к какому хаосу несправедливости может привести когнитивный шум при принятии судебных решений (разумеется, речь идет о системе независимого суда, где на решение судьи не влияют более непосредственные факторы — типа телефонного звонка из органов исполнительной власти).
На Репаблике уже была статья, где высказывались идеи о том, что приговоры должен выносить ИИ — данная книга, судя по всему, является хорошей иллюстрацией, почему.
"Индивидуальный подход долго был в порядке вещей: если связывать судей правилами, обращение с преступниками станет бесчеловечным, ведь подсудимые перестанут быть уникальными личностями, имеющими право на рассмотрение особых обстоятельств их ситуации" — тут стоит сказать, что использование ИИ не подразумевает отказ от индивидуального подхода. Проблема не в самом индивидуальном подходе (он, конечно, нужен и обязателен для вынесения справедливого решения), а в том, что этим индивидуальным подходом занимаются люди, действующие субъективно и подверженные когнитивные искажениям. Если анализ личности конкретного преступника (во всей ее полноте) будет производить ИИ, конечный результат будет лишен субъективности при сохранении индивидуального подхода. А значит, и шума. Разумеется, лишен субъективности и шума он будет ровно в той степени, в которой субъективности и шума будет лишен объем данных, на которых будет обучаться ИИ. Но
Авторы сначала вводят в обсуждение понятие "шум". Принято считать, что под шумом подразумевается некий случайный процесс. Затем авторы начинают приводить примеры факторов, которые могут влиять на принятие решений: голод, температура, результаты спортивной игры. Но в шуме по определению нет влияющих факторов, это набор случайных величин.
Не вижу противоречия. Перечисленные вами факторы (а также бесконечное множество неперечисленных) влияют на всех судей в разной степени, которая как раз определяется случайным образом, поскольку зависит от взаимовлияния факторов, которое может быть также случайным образом разнесено во времени. Именно неограниченность и случайность взаимовлияния факторов и определяет случайность (шумность) результата.
> "судьи с большей вероятностью предоставляют условно-досрочное освобождение с утра или после обеденного перерыва. Голодные судьи более суровы"
Нет, этот вывод был опровергнут: https://www.pnas.org/content/108/42/E833
И вот со многим в этой теории подталкивания похожие проблемы. Результаты Канемана -- хорошие и важные, а теория подталкивания -- нет, её сейчас серьёзно критикуют.
А почему вы уверены, что авторы книги ссылаются именно на исследование Данзигера? Так или иначе, приведенное вами исследование не опровергает данный вывод, как вы это озвучили. Оно демонстрирует, что данный вывод у Данзигера получился из-за того, что он отбросил (не стал исследовать) другие возможные факторы влияния — наличие у осужденных адвокатов и качество подготовки этих адвокатов к заседанию. Новый анализ, проведенный с учетом этих факторов, выявил более сильную зависимость успеха УДО именно от наличия адвоката и качества его выступления, что, по мнению авторов второго исследования, позволяет считать фактор приема пищи побочным эффектом — в данном конкретном исследовании, а не вообще.
Ну и анализ одного конкретного фактора здесь, на мой взгляд, не столь важен. Основная мысль авторов книги заключается в том, что этот и другие факторы существуют и могут влиять на судей случайным (с точки зрения соответствия деяния и наказания) образом.
> "почему вы уверены, что авторы книги ссылаются именно на исследование Данзигера?"
Это показалось мне достаточно вероятным, уж очень похоже по описанию. Сейчас я специально для ответа вам заглянул в книгу -- да, я был прав, они ссылаются именно на это исследование.
> "приведенное вами исследование не опровергает данный вывод"
Возможно, дальнейшее обсуждение этого вопроса унесёт нас в сторону обсуждения семантики глагола "опровергает", так что давайте сформулируем более аккуратно: есть достаточно серьёзные причины полагать, что выводы исходной работы необоснованны, чтобы не предлагать читателям утверждение, что "голодные судьи более суровы" безо всяких оговорок, как установленный факт.
> "Основная мысль авторов книги заключается в том, что этот и другие факторы существуют и могут влиять на судей случайным образом"
Это верно. Вопрос в том, насколько сильно влияние шума вообще (тут авторы, вероятно, правы -- довольно-таки сильно, и с этим я и не спорил) и конкретных факторов, таких как голод. Вот именно в вопросе о том, насколько сильно влияние конкретных факторов, многие работы в области психологии поведения в русле теории подталкивания оказываются сомнительными (не для меня, а для довольно широкого сообщества людей, разбирающихся в статистике), и именно в этом смысл моего исходного комментария. Одно дело, если вес фактора голода в принятии окончательного решения составляет десятки процентов, и совсем другое -- если десятые доли процентов (и есть ещё сотня факторов с такой же степенью влияния). Это вопрос статистики, а не выбора "да, влияет / нет, не влияет".
Спасибо за уточнение по поводу ссылки на исследование! Это несколько меняет дело.
"...есть достаточно серьёзные причины полагать, что выводы исходной работы необоснованны, чтобы не предлагать читателям утверждение, что "голодные судьи более суровы" безо всяких оговорок, как установленный факт" — с такой формулировкой более чем согласен.
Ок, вас понял. Думаю, мы сойдемся на том, что предпринимать какие-то конкретные действия только лишь на основе приведенных в книге примеров (которые я воспринял именно как примеры общей проблемы, а не как декларацию установленных фактов — полагаю, подобным образом это замасливали и авторы) и каких-то единичных исследований нельзя. Например, будет явно преждевременным стремглав отправиться менять режим питания судей без проведения масштабных проверяемых исследований, которые установят (или не установят) устойчивую корреляцию приговора и чувства голода. С другой стороны (на мой взгляд — и, как я понял, вы с этим тоже согласны), этих примеров и отдельных исследований (всех вместе взятых) вполне достаточно, чтобы считать обоснованным вывод о наличии самой проблемы шума и смещения и вызванных ей разбросов в решениях. Но вместо того, чтобы в сложнейших исследованиях высчитывать степень влияния всех этих отдельных факторов (что является весьма нетривиальной задачей) я предлагаю решать проблему "оптом" путем исключения человеческого фактора, постепенно заменяя его на ИИ.