Проблема вагонетки (или дилемма трамвая, Trolley problem) – известный психологический эксперимент, впервые сформулированный в 1967 году. Его автором считается философ Филиппа Фут, специализирующаяся в области этики. В оригинале эта проблема звучит так: вагонетка несется по направлению к пятерым привязанным к рельсам. Но у вас есть возможность переключить стрелку и направить ее по запасному пути. Проблема заключается в том, что и там к рельсам привязан человек – правда, всего один. Каковы ваши действия? При каких обстоятельствах вы решите пожертвовать жизнью одного для спасения пятерых?
Ответ на этот вопрос вот уже более полувека интересует как психологов, так и философов всего мира – ведь с его помощью можно разобраться в более сложной проблеме: в какой мере культурный контекст определяет нашу мораль?
Не менее интересно узнать, как отличаются решения проблемы в разных странах. Благодаря новому (самому крупномасштабному на сегодняшний день – более 70 тысяч участников из 42 стран) межкультурному исследованию, проведенному международной командой психологов, это стало возможно выяснить. И – сделать свои выводы, считают в издании Vox.
Всё зависит от того, кто где привязан.
Допустим, что на одном пути - пять настоящих урок, а на другом - простой дядька или тётка с лавочки. На одном пути - пять дядек и тётек, а на другом - мой ребёнок.
Люди очень не равны. Вроде бы академик Сахаров не был равен забулдыге из канавы.
Только вот как их оценить, и кто это делать должен?
Оценка у каждого своя.
В истории сплошь и рядом несчётное число жизней приносилось ради спасения одной, не стоящей и гроша. Сталин и Гитлер...
Но есть и более адекватные примеры.
Во время Второй Мировой Войны возникла дилемма - кого погубить на море: очень достойного и порядочного короля Норвегии Хокона или весь экипаж британского военного корабля. Пожертвовали моряками. Правильно это или нет?
А вообще-то я толком не могу ответить прямо на поставленный вопрос.
Потому что Другой Лавров прав.
Я не Бог.
Беда в том, что всегда среди людей находилось слишком много богов.
Почти все, участвующие в дискуссии, почему-то меняют условия задачи. И не хотят давать прямого ответа на прямо поставленные вопросы. У меня четкие ответы на варианты 1 и 2 - переводить стрелку и минимизировать ущерб. Вариант 3 сложнее и не так однозначен: кто самый толстый?, не столкнёт ли он меня первым? Можно ли прыгнуть самому?
Задавал эту задачу разным людям, настаивал на ответе "да" или "нет". И получал ответ. Как правило тот, кто отвечал потом "да", хотел поменять условия задачи. Ну очень хочется спасти больше людей и не брать на себя ответственность за смерть одного. Потому, что это тяжело, как потом с этим жить? Тешить себя тем, что де-спас больше? А разве количество что-то решает в этой части? А не трогал бы рычаг - и не было бы угрызений совести и вопросов "а правильно ли я поступил?". Такова се-ля-ви. Раскольников тоже вроде за благое дело бабушек кокнул. И что в итоге, к чему пришел? Все это разжевано. Не зря же благими намерениями вымощена дорога в ад.
оторванные от жизни теории. несерьезно.
Роковое заблуждение. На самом деле эти вопросы должен решать в бою или вообще в экстремальной ситуации любой командир, начиная прямо с командира отделения. Кто пойдёт захватывать вражескую позицию, а кто будет прикрывать их огнём? Кто полезет вытаскивать раненого с ничейной полосы или пусть кричит, пока не умрёт? Нужно послать пожарных вытаскивать людей из готового обрушиться дома или слишком опасно и мы можем только смотреть? Если вы смотрели сериал "Чернобыль", то помните, что пожарных варварски послали умирать, не обеспечив никакой защитой. Но это власти вообще. А конкретный начальник - что должен был делать? Послать их без защиты (как и было сделано) или пускай горит атомная станция? Хорошо, когда не тебе приходится решать, кому жить, а кому умирать. Жаль, что это не всегда возможно
В бою, на пожаре, наводнении или на ликвидации каждый знает что может не выжить. Каждый осознает риск и по-умолчанию согласен на ту работу, которую дает командир. Ну и потом, командир будет отвечать за свои приказы.
При чём здесь - знает? Привязанные тоже знают, что может проехать вагонетка. Солдат, к тому же, не обязательно доброволец. Речь идёт о моральном выборе человека, который должен решить, кому жить, а кому - умереть. Конечно, на этот выбор может и должно влиять, кто из потенциальных жертв каким образом оказался в этой ситуации. Понятно, что если пятеро непричастны, а один профессионально рискует жизнью - выбор сделать проще. А если наоборот - пошлёте вы пять пожарных на неминуемую смерть, чтобы спасти одного гражданского? А если все шестеро - солдаты? Тогда можно не заморачиваться? В любом случае, это моральный выбор человека, который должен (обязан!) решить, кто будет жить, а кто умрёт. Причём отказ делать выбор - тоже выбор: люди умрут, потому что ты ничего не сделал, чтобы их спасти. И отвечать придётся прежде всего перед собственной совестью (предполагается, что она есть, иначе тест вообще ни о чём). Смысл теста - смоделировать этот выбор. Ясно, что это не говорит о том, как поведёт себя человек в реальности перед лицом этого выбора. Но хоть разок представить себе, что он существует и, вполне может быть, тебе придётся его делать - совсем неплохо. Осознать, что редко приходится выбирать между плохим и хорошим, гораздо чаще - между плохим и очень плохим, а иногда - между очень плохим и очень плохим. Но выбирать приходится, потому что из этого состоит человеческая жизнь.
>> Речь идёт о моральном выборе человека, который должен решить, кому жить, а кому - умереть.
Такого выбора быть не должно в принципе. Человек не имеет никакого права распоряжаться жизнью других людей, что бы кто об этом не говорил. Распорядиться он может только _своей_ жизнью. Я даже не рассматриваю "солдат не по своей воле", т.к. принуждение уже само по себе аморально и преступно. А принесение людей в жертву преступно вдвойне.
Задача командира, как и любого руководителя, не в том, чтобы принести как можно больше людей в жертву, или решить кому жить, а кому умирать. А в том, чтобы решить поставленную задачу (защитить людей от агрессора, потушить пожар, построить здание, составить отчет для начальства и т.п). А его талант в том, чтобы сделать это без принуждения личного состава.
>> Причём отказ делать выбор - тоже выбор: люди умрут, потому что ты ничего не сделал, чтобы их спасти.
Отказ сделать выбор не равно отказу от действия. "Зло есть зло, и если выбирать между меньшим или большим - я предпочту не выбирать вовсе." Очень, на мой взгляд мудрая фраза. Хоть и приписана она сказочному ведьмаку Геральту из Ривии. Через некоторое время это самое зло нацелилось на него _лично_ и он сделал выбор, но уже в целях самозащиты, и это делает выбор морально-оправданным.
Если рассмотреть ваш пример со спасением 1 гражданского против 5 пожарных - мой выбор очевиден. Если я командир, лидер, то должен САМ пойти и спасти этого гражданского. Если кто-то из личного состава решит присоединиться - это будет его выбор. Руководитель, лидер, _всегда_ должен рисковать больше чем его подчиненные, иначе это не руководитель, а аморальное чмо, и ему нечего делать на этой позиции.
Звучит всё это красиво. Реальность как правило выглядит много хуже. Например, условный генерал Панфилов под условной Москвой в условном 1941. Вы бы на его месте не посылали в бой мобилизованных мальчишек, а заняли бы место в окопе один, возможно, вместе со штабом. Очень благородно, несомненно. Если, конечно, считать спокойствие вашей совести важнее судьбы Москвы. Не все с вами согласятся, мне, к примеру, кажется, что судьба людей важнее вашей и даже моей совести. Кстати, и Геральт, несмотря на заявленный нейтралитет, то и дело вмешивается в события, не стесняясь убивать (лишать жизни) людей и нелюдей, когда считает это правильным. Он вовсе не отказывается делать выбор, он отказывается делать тот выбор, который ему навязывают, но постоянно делает собственный - именно кто должен жить, а кому не обязательно
Не существует тестов, которые могли бы предсказать поведение человека в стрессовой ситуации. Психологи очень не любят этого факта. Так что действительно с реальностью эти опросы не связаны.
Правильный ответ: выломать рычаг и им затормозить вагонетку.
На возражения: "не сможешь", "не успеешь", отвечать: "Почему вы так уверены - наверное, вы сами положили тех людей на рельсы и запустили вагонетку?"
На самом деле, культурные различия при разрешении дилеммы заметны не больше, чем влияние предпочтений или предубеждений в одной из модификаций эксперимента. Если сначала показать фото человека, участники мгновенно оценивают, принадлежит ли он/она к подобным себе или к "чужим" (In-group vs out-group). Т.е. срабатывает unconscious bias, почти автоматическая реакция - лучше на рельсы бросить "чужого", чем "своего". Проводила подобные эксперименты на занятиях. Один студент предложил бросить на рельсы самого толстого, тогда вагонетка наверняка остановится. После того, как группа отсмеялась, начали обсуждать природу выбора - body shaming? свой-чужой? рациональный подход для уменьшения числа жертв (как будут программироваться беспилотники)? Случай же с переводом стрелок, т.е. дистанционное управление ситуацией, показывает, что обезличивание приносимого в жертву облегчает выбор. Возможно, поэтому некоторые операторы военных дронов в Штатах страдали от пост-травматического стресса после увольнения, когда позже увидели лица людей на фотографиях, включая гражданских, оказавшихся рядом с целью атаки.
ох уж эти философы мечтающие обучать ИИ задачкам про вагонетку, на сам деле все будет ровно наоборот,
ИИ посредством камер с распознаванием лиц очень быстро отучит философов ложиться на рельсы, лезть в неисправные вагонетки а так же переходить улицу в неположенном месте и на красный свет.
Сколько было разговоров, что русских невозможно отучить не превышать скорость?
Но камеры видеофиксации отучили буквально за несколько лет, и от других глупостей отучат.
А вы камеры уберите на несколько дней. И увидите, что скорость опять будут превышать.
<<Ответ на этот вопрос>>
В азиатских обществах и вопроса нет. "Ничего не делать" здесь всегда более выигрывающий вариант - спросите прокурора, в каком из случаев будет реальное УД.
Прокурор вкатит при любом раскладе. За "ничего не делать" по 125 или 293УК РФ. Работа у него такая.
Если вы не инженер по ТБ ничего не вкатит.
Да, тут ваша правда )
"Ничего не делать" самый верный ответ потому, что если ты повлиял на ситуацию, ты несешь ответственность за все, что будет происходить после этого. А если ты никак не участвовал в этой ситуации, то никак не отвечаешь за это. Тебя вообще могло быть там не быть. Это во-первых. Во-вторых - как можно вообще принимать решение кому жить, а кому умирать? Убийство одного, пусть даже и техническими средствами (оружие тоже техническое средство, ха) не оправдывает спасение многих. Цель никогда не оправдывает средства, иначе мы просто деградируем. "Если очень долго смотреть на реку, то можно увидеть как по ней проплывает труп твоего врага" (с).
Мне интересен на самом деле такой вариант вагонетки: ты сам лежишь на рельсах и знаешь, что там дальше лежат еще 5 человек. Ты можешь освободиться и спастись, но те 5 погибнут. Ты можешь не освобождаться, тогда сам попадешь под колеса, но поезд остановится и те 5 человек выживут. Ты их не знаешь кто они такие, знаешь что они там есть. Они не знают тебя и не знают что ты тоже лежишь на рельсах. Будешь лежать и ждать поезда или все-таки убежишь, и гори оно огнем всё?
Я бы согласилась, но боюсь, этот эксперимент не рассматривается как тест на индивидуальные моральные качества. Его результаты, как и многих подобных, имеют прикладное значение при разработке ИИ, в том числе беспилотников - какими критериями будут руководствоваться разработчики машинных "мозгов"? Следует ли сохранять жизнь пассажира или ребенка, случайно выскочившего на дорогу? Задавить ли одного пешехода или направить автобус на тротуар, где могут находиться люди, чтобы избежать наезда? В сфере трансплантации органов, например - какими критериями будет руководствоваться компьютерная программа при выборе реципиента - почку или сердце получит первый в очереди (уже сейчас на Западе очередь и подбор на совместимость ведется в электронном виде) или, условно, всемирно известный ученый или коллега-хирург? Их жизни в для общества в целом могут показаться важнее, чем жизнь обычного человека, если только этот обычный человек не окажется вашим другом или родственником.
Субъективная оценка - зло, а субъективное принятие решений жизни и смерти - это абсолютное зло. Представьте, что кто-то будет принимать решение кто неизбежно умрет - вы или незнакомый человек рядом с вами. И представьте, что кто-то другой является для другого субъективно-ценнее чем вы. Вы осознаете риск? Пересмотрите фильм на эту тему, "Посылка", кажется называется в оригинале "The box".
Я очень хорошо представляю ужасы выбора человека, поставленного в независящие от его воли обстоятельства, стоит вспомнить, например, Sophie's Choice by William Styron. Но мой пост не об этом. Разработчики ИИ руководствуются не субъективными оценками (хотелось бы верить), а статистическими данными, в том числе полученными в ходе подобного эксперимента, другими словами используют Big Data. Скорее всего, в итоге решение о реакции беспилотника на препятствия в виде людей будет принимать компьютерная программа, заточенная под мнение большинства, включая предпочтения или пристрастия (не знаю, как перевести biases) самих разработчиков. Кстати, подобные данные собираются и при помощи https://implicit.harvard.edu/implicit/
Многие исследователи в области AI Ethics предупреждают об опасности, которую несет технократический или механистический подход. Для них ИИ несет экзистенциальную угрозу. Компании-разработчики в ответ ссылаются на тот самый субъективный, т.е. человеческий фактор, который приводит к авиа- или автокатастрофам. Они считают, что статистически беспилотники, управляемые ИИ, будут безопаснее. С новыми технологиями или без них, люди все равно будут стоять перед выбором, и каждый сам будет принимать решение, основанное либо на инстинктах, на рациональной оценке ситуации или на моральных принципах.
>> "Компании-разработчики в ответ ссылаются на тот самый субъективный, т.е. человеческий фактор, который приводит к авиа- или автокатастрофам."
Поэтому пилот находится внутри самолета, а не снаружи. Он рискует наравне с пассажирами. Но речь же не об этом, у ИИ не должно быть предпочтений, иначе это будет такая же история как с людьми и их ошибками. Только судить будет в этом случае некого. Ну правда, не робота же судить - это уже бред.
ИИ должен действовать на основе консенсуса. А он заключается в том, что ПДД надо соблюдать. Я не знаю ни одного человека, который с этим не согласен.
Рада, что наконец пришли к консенсусу. Считается, что ИИ, не обремененное предпочтениями или предрассудками, будет принимать решение. Но и здесь не все так однозначно - дискуссии между профессионалами продолжаются https://www.ted.com/talks/zeynep_tufekci_machine_intelligence_makes_human_morals_more_important#t-298660
А как же насчёт ответственности за зло, произошедшее по вине нашего бездействия? Не будь этот вопрос частью задачи, тоесть, будь все так просто и очевидно, это не называлось бы дилеммой.
Бездействие не умножает зла. Это важно. Можно попытаться минимирировать вред - такой вариант возможен. Получается тот, кто положил людей на рельсы уже и не убил их, они живы. Он уже и не убийца совсем. А кто убил того одного беднягу? Правильно - ты сам. И все, чем можешь оправдывать свои действия - это сделка с совестью. И тешить себя тем, что минимизировал вред, хоть и стал убийцей.
А вот Ваш вариант ближе к реальной проблеме самоуправляемых автомобилей, и вопрос в целом звучит так "согласны ли Вы использовать для передвижения транспортное средство, которое может принять решение убить Вас?" Согласитесь, ответ однозначный. Поэтому и проблемы то нет, никто не сядет в самоуправляемый автомобиль, если в его алгоритмах не будет прописан наивысший приоритет - сохранение здоровья и жизни пассажиров.
Если он безопаснее обычного, то я сяду.
Есть такой сайт, MoralMachine, кажется. Там типа можно пройти тест, из двух вариантов выбирать в разных ситуевинах как поступать самоуправляемой машине. Так вот, я когда этот тест проходил все удивлялся. Там значит, есть разные люди: дети там, черные, желтые, старики, молодых, женщины и т.п. Я отвечал на вопросы просто: если люди переходят дорогу на красный - они должны погибнуть, если на зеленый или по переходу - погибнуть должны те, кто в машине. Ну и все в таком ключе. То есть, существуют ПДД, назовем их необходимыми условиями, и кто правила соблюдает тот ни в чем не виноват и не зачем ему умирать. А если уж ты доверил свое тело железяке - ну ты сам и отвечай за это. Ну и производитель должен нести солидарную ответственность. Страховки там и прочее. Если машина упоролась в бетонный блок, приняла это решение - ну надо рассматривать это как гарантийный случай и обязательства производителя.
А сайт этот приписывал мне разные свойства, типа я на 42% не люблю бабушек, на 64% предпочитаю чтобы умерли черные, а вот детишек люблю - они в моих ответах погибали в 10% случаев. Странный такой сайт в общем )
Невозможно предсказать поведение человека в стрессовой ситуации, так что не имеет никакого значения, что вы выбрали на этом сайте. Вы сами не знаете, как поступите в реальной стрессовой ситуации.
Обычно машины не испытывают стресса. А это как-раз сайт исследование на предмет "как бы нам так запрограммировать машину, чтобы правильно было". Так что если в машину заложено следовать правилам, одинаковым для всех, а не решать субъективно (как человек) - так она и будет делать.
На самом деле проблема эта глубже чем кажется. Ведь все животные равны перед законом, да? И машина не может сама решать какие из них более равны чем другие, если это не заложено алгоритмом или начальными данными (если это нейросеть). Бывает люди стремятся обойти правила, потому что они сложные там или неудобные. Однако осознание того, что от их соблюдения зависит жизнь и здоровье, делает их не просто правилами, а чем-то совсем важным. И если кто-то подрезает, обгоняет по обочине - большинство людей посчитают его чудаком на букву "М". Я думаю, что в такой ситуации, когда от этого зависит жизнь и здоровье, следование правилам - более морально, чем генерация исключений из этих правил, как мы привыкли делать это в других областях. Как у нас говорят "не нае...шь - не проживешь". Тут это не работает.
Согласен с Вами. Я на основе подобных умозаключений постепенно пришел к идеям пацифизма и неприятия смертной казни, хотя в молодости (в 20 и 30) рассуждал совсем иначе. Тогда бы я, конечно, направил вагонетку недрогнувшей рукой с пятерых на одного. А сейчас понимаю, что я не Господь Бог и не имею на это никакого права. И никто такого права не имеет.
согласен