Беспилотный автомобиль Google. Фото: Elijah Nouvelage / Reuters
Проблема вагонетки — один из самых известных мысленных экспериментов в этике. Классический вариант выглядит так. По рельсам несется тяжелая неуправляемая вагонетка, на ее пути лежат пятеро связанных людей. Их можно спасти, если направить вагонетку по другой ветке. Но там лежит еще один человек — и он тоже связан. Допустим, участник эксперимента оказался возле стрелки и ему предлагают две возможности — ничего не делать (тогда погибнут пятеро) или сдвинуть рычаг (тогда погибнет один). Как поступить? Какое решение может быть морально оправданным? Есть ли такое решение вообще?
Дилемму сформулировала еще в 1960-е годы Филиппа Фут, британская исследовательница философии и этики. И с тех пор об этом ведутся ожесточенные споры. Появилось множество вариантов (один из них предлагает столкнуть на рельсы случайного прохожего, чтобы остановить вагонетку) и дополнительных условий. Что, если связанный человек на запасном пути — ваш знакомый? Что, если это преступник? Имеет ли значение его возраст?
Теме посвятили десятки, если не сотни исследований. Выбор пытались связать с демографическими характеристиками (в некоторых экспериментах мужчины чаще выбирали вариант с переводом стрелки, чем женщины). Его пытались оправдать разными этическими теориями. Некоторые заявили, что моральная головоломка вообще не имеет смысла — что сценарий оторван от реальности и только отвлекает от реальных проблем.
Дилемма сложна, потому что оперирует человеческими жизнями. Можно ли сравнивать их ценность? Можно ли оправдать убийство невиновного? Кто может принять такое решение?
Какая чушь. Никакой проблемы применительно к автопилотируемым автомобилям не существует. Все очевидно - в аварийной ситуации виноват пешеход, выскочивший под колеса, и именно он и должен пострадать. Это правильно и справедливо. А философы, упомянутые в этой статье - бесполезные словоблуды и паразиты, которые лучше бы себе достойную работу нашли.
можно усугубить.
Вагонетка. И ты можешь спасти или 1 или 5. Или оставить как есть.
+
С этической точки зрения задача вагонетки решения не имеет.
Наиболее близкой аналогией в математике будет попытка сравнить бесконечность с такой же бесконечностью, помноженной на 5. Понятно, что оба аналога ценности жизни являются бксконечностью одного порядка.
Нет. Переводя вагонетку - совершаешь убийство. Убивать людей даже ради спасения других - это неправильно.
Мне кажется, что для автопилота должна стоять задача предотвращения столкновения с любой помехой. Будь то пешеход переходящий дорогу, группа бомжей или нобелевских лауреатов, дерево или автомобиль на обочине. Автопилот не может никак классифицировать эти помехи. Бомж это или нобелевский лаурет-хиппи, в машине на обочине есть дети или нет, а может за деревом кто-то присел. (Я был свидетелем как женщина спряталась за столб от несущегося под горку самосвала без тормозов. В этот столб самосвал и затормозил с летальным исходом для женщины). Автопилот также не может рассчитать какое столкновение является смертельным. Не факт, что любой удар, даже сильный, приведет к смертельному исходу кого либо из столкнувшихся. В тоже время несильный удар, при плохом стечении обстоятельств, может привести к беде.
И у автопилота на сегодняшний момент, насколько я понимаю, есть только два способа предотвратить столкновение - тормозить или объезжать. Соответственно, объезд возможен, исходя из вышесказанного, только если он не приводит к другому столкновению. Здесь также надо учитывать, что датчики автомобиля могут не видеть всю окружающую обстановку (например, неровности обочины), поэтому маневры автомобиля изначально ограничены. Торможение применяется в любом случае когда не возможен объезд, даже если оно (торможение) не решает проблему столкновения, для минимизации последствий оного.
И никаких моральных проблем.
Задача о вагонетке не является прикладной. Она сродни средневековой задаче о том, сколько ангелов помещаются на острие иглы. То же было много споров и столкновений различных концепций.
Примером технического решения является автопилот, управляющий самолетом. Устройство применяется уже давно, но в нем до сих пор нет блока, принимающего решения какой частью пассажиров - с правой или левой половины салона, передней части и хвоста пожертвовать в случае чего. И ничего, нормально при этом работает.
1. Задача про вагонетки сейчас действительно является прикладной, т.к. машине придется принимать решения о том кого, с большей долей вероятности, убить и от того какие принципы оценки ситуации мы в нее заложим, так она и поступит (машина будет решать вопросы жизни или смерти на основе наших принципов = представлений о правильном, то есть по сути решать будем мы).
Сравнение про ангелов не уместное, т.к. там совершенно другая ситуация - там изначально идет допущение о существовании существ, которые не подчиняются известным законам физики, поэтому она абстрактная.
2. Автопилот в самолетах как раз таки и не работает нормально, постоянно сбоит, а посадку и взлет (самые сложные этапы полета, в процессе которых и происходит большинство аварий) ему до сих пор не доверяют и это делают пилоты. По сути автопилот в самолете это тот же круиз контроль в самолете.
Да и по принципам работы автопилот в самолете кардинально отличается от автопилота в машине, т.к. автопилот в самолете (если его все же допилят до полноценного) не взаимодействует с непредсказуемым поведением или с объектами с которыми нет связи.
Так что здесь не все так легко.
Я вот читаю подобные статьи, и мне интересно: а на заре массового автопрома вот так вот ломали копья, что, возможно, личный автомобиль - большая опасность, нельзя его в руки давать слабому человеку (может заснуть за рулем, сесть пьяным, тупо выпендриваться и лихачить или еще там какие-то весьма существенные, справедливые и важные резоны)? А правила дорожного движения: они вот прямо сразу появились, без всякой истории, без прецедентов, без ошибок? А дорожная разметка и регулировка? Вашу ж дивизию, люди тысячами гибли и гибнут на дорогах вот именно для того, чтобы потом особо одаренные образованные и всячески подкованные ученые лбы свои морщили?! Во всем мире участники дорожного движения подчиняются ПДД, так какого ж рожна велосипед изобретать? Беспилотный автомобиль - участник дорожного движения? Ну и все, закон есть закон. Если ты пешеход - соблюдай ПДД и будет тебе счастье, в противном случае отвечаешь головой (это и так само собой разумеется уже сейчас, бегать через 8 полос Ленинского проспекта в Москве рискуют только самые отмороженные). Если ты пассажир БТС - с тебя вообще взятки гладки. Для всех остальных случаев - спецкомиссия по расследованию, выясняющая, по какой причине БТС, соблюдающее ПДД на уровне прошивки, повело себя нештатно, кто в данном конкретном случае несет ответственность - разработчики железа, разработчики программного обеспечения, конечный пользователь, на свою и чужую голову залезший в хард или софт, хакеры, злоумышленники (предвидя возражения против расследователей скажу, что дорожной полиции тоже когда-то не было). И т. д. Либо вообще решить проблему радикально - просто физически развести потоки, скажем, беспилотники ездят только по специальным тоннелям и дорогам со спецограждением, по определенным маршрутам. Типа как метро или как определенные данные в информационных системах только по определенным каналам передаются, только с большей свободой выбора канала/маршрутизации. И с максимальной скоростью, заведомо не превышающей быстродействия и скорости реагирования автопилота. Или, например, заложить в беспилотник такую функцию, которая при возникновении аварийной ситуации с высокой вероятностью человеческих жертв будет наглухо вырубать движок, отстреливать колеса, чтобы повозка села на брюхо и брюхом экстренно оттормаживалась, а пассажиров - катапультировать к чертовой матери, или не катапультровать, а внутри салона какой-нибудь амортизирующей пеной все заливать по самую крышу: уж лучше быть грязным, напуганным и слегка задохнувшимся, чем мертвым. Развели тут какие-то этические проблемы невнятные, вагонетки и прочее. Можно вообще с третьей стороны взглянуть: по всем выкладкам беспилотники ожидаемо снизят количество ДТП, значит, жертв станет меньше, значит, давайте надеяться, что мы, ответственные и соблюдающие ПДД граждане, как раз и будем спасены от пьяных, заснувших за рулем, купивших права и прочих лихачей и шумахеров местного разлива. Не вижу проблемы вообще.
Полностью поддерживаю Ваше мнение, Даниил.
Тоже, другими словами:
Я бы проектировал алгоритм автопилота таким образом:
1. Максимизация нелетального исхода для пассажиров конкретного авто (на автопилоте)
2. Минимизация ущерба окружающим.
Все.
Тоесть, повторить существующую ситуацию с водителем-человеком. Человек (водитель) на уровне истинктов пытается спасти самого себя. И если ситуация супер-критическая, то о никакой морали речь не идет (нет времени) - просто пытается выжить.
Если ситуация позволяет, то пытается подумать и о других (объехать и т.д.). И все.
Такой алгоритм вполне рабочий, а нюансы со временем отполируются.
Пусть в критической ситуации срабатывает генератор случайных чисел. Проще говоря, кому-то повезёт, кому-то нет.
Действительно очень интересная проблема, которую стоит исследовать (в кои-то веке теоретическая философская зада носит прикладной характер :D).
На практике, по моему мнению, все решится основываясь на мнении большинства (соц.опросов и т.д.), (ну может в некоторых странах примут какие-нибудь законы), т.к. все равно во главе угла встанут продажи машин, а тут в работу вступят маркетологи, которые и будут продавливать мнение большинства для больших продаж.
В любом случае все решится на уровне закона. Потому что именно закон должен определять правильное поведение на дороге, как для человека так и для машины. Разница только в уровне детализации - для машин можно расписать и унифицировать реакцию по каждому сантиметру и каждой миллисекунде событий.
Все выборы сводятся к спонтанному импульсу. Логика этики возникает постфактум.
Возможно описанные проблемы и попытки их решить приведут человечество к такому осознанию.
Разнообразные боты (включая беспилотный транспорт) могли бы использовать схожий по спонтанности ответ нейросети. Нейросеть могла бы поучиться на больших данных последствий человеческого управления.
В интересное время живем ...
Проблема вагонетки - нет никой тут моральной проблемы. Если вагонетка едет прямо то это несчастный случай, а если ее специально отвернуть, то это уже убийство. Ровно кстати по этой же причине люди признаются виновными за то что если они уворачиваясь от ДТП нанесли еще более тяжкие последствия, даже если они не являлись виновниками ситуации изначально.
Как у вас всё просто. На дорогу выбежали дети, вы едете на машине и она явно не успеет затормозить - вы будете тормозить не сворачивая или всё- таки свернёте (в дерево, с неизвестными для себя последствиями?)
Я не утверждаю, что есть правильный ответ, но «моральность» проблемы как раз в том, что если вы задавите детей - явно будете переживать. И достаточное количество ваших знакомых посчитают, что вы «должны» были отвернуть.
Я не знаю как сработают мои рефлексы, очень надеюсь не придется их проверять, хотя по логике конечно думаю буду уклоняться всячески. Но правила дорожного движения требуют прямолинейной экстренной остановки и не допускают рулений всяких - известный пункт про принятие всех мер к снижению скорости вплоть до полной остановки.
Реально бывают случаи когда водитель уворачиваясь от вылетевшего на встречку уходил на свою обочину, куда же вылетал в итоге и встречный автомобиль, получал колонию поселение за гибель водителя грубо нарушившего правила.
Интересно кстати, как этот момент описывается в правилах дорожного движения в европеских странах и США.
А если врежется в дерево, переживать уже не будет
Кстати, инстинктивно, большинство людей уворачиваться руль, даже если собака выбежала на дорогу. И разбиваются
Кстати в Европе прямо и постоянно напоминается, что в случае угрозы столкновения с небольшим животным - давить. Если угроза столкновения с крупным животным - остановка или уклонение и объезд животного сзади (животное испугавшись инстинктивно бежит вперед). На практике - люди уклоняясь от белки зачастую встречают свою судьбу в(на) ближайшем дереве.
или от ямы тоже