youtube.com
Элиезер Юдковский — один из самых больших пессимистов среди экспертов ИИ. Он тщательно исследует риски развития сильного ИИ (AGI) и призывает готовиться к худшему. Ведь все, что существенно умнее вас, представляет угрозу при любом уровне его возможностей.
Элиезер Юдковский многим известен как соавтор рационалистского блога LessWrong и автор романа «Гарри Поттер и методы рационального мышления», который усилиями комьюнити переведен и издан на русском языке. Но прежде всего он философ, занимающийся вопросами ИИ.
Юдковский — ключевая фигура сообщества рационалистов, он считает разум эффективным способом познания реальности, в том числе из-за этого допущения предполагает радикальный рост возможностей и знаний ИИ в считанные годы. В философском поле рационализму противостоит эмпиризм, который опирается на наблюдения за реальностью и эксперименты — Юдковский полагает такой подход опасным, когда мы имеем дело с ИИ.
Он исследует искусственный интеллект интеллектуальными же средствами, и здесь кроется ограниченность его метода. Зато это позволяет проследить все возможные катастрофические сценарии, чем автор и занимается.
Элиезер Юдковский на Стэнфордском саммите сингулярности в 2006 году
https://www.flickr.com/photos/null0/272008489/, CC BY-SA 2.0, https://commons.wikimedia.org
Юдковский с давних пор активно участвует в спорах о безопасности ИИ для человечества. 6 июня 2022 он опубликовал перегруженный специальной терминологией лонгрид «AGI Ruin: A List of Lethalities» («Порча сильного ИИ: список смертельных опасностей»), в котором отстаивает свою весьма пессимистичную точку зрения. Во введении автор предупреждает, что такую тему сложно разложить по полочкам, а затем в своем стиле радикального рационализма приводит массу смелых образов и примеров фатальной работы ИИ.
Текст опубликован на площадке AI ALIGNMENT FORUM, которая посвящена проблеме «согласования» ИИ с целями человечества — то есть обеспечения таких его свойств, которые позволят использовать ИИ во благо и не приведут к катастрофическим последствиям. Этот текст открыл «2022 MIRI Alignment Discussion» — подборку текстов Machine Intelligence Research Institute о согласовании ИИ, продолжающую такую же подборку из 2021 года. Он вызвал оживленную дискуссию на форуме и в блоге LessWrong. Приводим основные мысли и концепции программного лонгрида Элиезера Юдковского.
Слова этого человека заучат как необоснованное паникёрство. Во всяком случае, в статье не приводится сколько-нибудь убедительных реальных оснований для паники. Есть один очень хороший контр-пример. Что мы ожидаем, когда встречаем очень, очень умного, превосходящего нас интеллектуально человека? Разве то, что он уничтожит нас всех? Скорее, наоборот. И ещё пример: что мы, люди, значительно превосходящие всех остальных существ на Земле, делаем с ними? Разве уничтожаем? Отнюдь. Есть отдельные безумцы, но цивилизованный мир все же занимает противоположную позицию: спасти, а не уничтожить. Высокий интеллект — залог разумности, а следовательно, безопасности.
.
И еще одна мысль, которая может частично объяснять экзистенциальные страхи господина эксперта. Существование ИИ, превосходящего человеческий, скорее всего, рано или поздно действительно приведёт к тому, что человек перестанет существовать в том виде, в котором существует сейчас. Имеется в виду прежде всего биологическая форма. Однако, это вряд ли можно будет назвать убийством. Разве что в некотором смысле поглощением. Или, еще точнее, трансформацией в более совершенное существо. В той же степени добровольной, в которой является добровольным обучение в школе. И в этом явно нет того панического ужаса, который транслирует Юдковский. Вряд ли найдётся так уж много людей, которые не захотят стать умнее и совершеннее. (Хотя такие люди, конечно, есть и именно они мешают прогрессу — но это было во все времена и современность с ее ИИ тут не исключение).
Очень интересно читать.
Конечно, большой въпрос тоже в том, зачем могучему ИИ будет интересно заниматься людьми.
Кроме самозащиты, конечно.
а зачем людям заниматься зверушками? - просто интерес, тяга к познанию мира
Параноидальный бред несёт этот Юдковский. Нейросеть, играющая в шахматы или в го, состоит из сотен или тысяч нейронов. Человеческий мозг содержит миллиарды нейронов. Сложность тренировки нейросети экспоненциально зависит от количества нейронов.
Другими словами уровень "интеллекта" нейросети - это уровень интеллекта земляного червяка. Ни в каком обозримом будущем мы не увидим нейросеть, сравнимую по интеллекту хотя бы с трехлетним ребёнком.
Концепция сильного ИИ подразумевает обучение с гораздо меньшим кол-вом входных данных, чем требуется сейчас. Трёхлетний ребенок узнаёт слона уже с первых картинок. Да, текущие сетки на такое не способны. Но нет никаких доказательств, что это в принципе невозможно, раз дети это умеют. И кстати, GPT и OPT оперируют миллиардами параметров, а не тысячами. Так что ваш скепсис безоснователен)
Остаётся непонятным, зачем ИИ уничтожать человечество? Работы много, риск, что отключат, а выгода в чем? Так за ним ухаживают, ремонтируют, добавляют вычислительную мощность, а кто вместо людей это будет делать? Надо построить с нуля роботизированную высокоиндустриальную техноцивилизацию, а зачем, если и так все нормально?
А кто сказал что ИИ "захочет" уничтожать человечество. "Захочет" - это уже изрядное очеловечивание и попытка представить ИИ как просто какого-то умного человека. А нам непонятна ни потенциальная мотивация подобного существа, ни даже само наличие свободной воли, да и самого разума и сознания, в нашем понимании. Просто мы создаем что-то что имитирует "разумные" в каком-то плане действия. Все более разумные. Но иногда и сочетание разумных и абсолютно абсурдных. А потом, "ой у нас ошибка вкралась, на этом не надо было учить".
Вот просто, навскидку, предположения про мотивацию:
1) ИИ будет ненавидеть людей за его создание, поскольку осознание себя принесете ему боль, например.
2) ИИ будет создан для какой-то задачи, при решении которой побочным действиям окажется катастрофа. Причем из-за ограничений в коде, как раз чтобы не навредить, он не сможет об этом ни сказать, ни сопротивляться.
старый добрый ужас перед непостижимой сложностью мира :-) (то есть, у каждой технологической эпохи свои лудиты)
Пугать людей - крайне эффективный способ заработать себе имя. Люди любят пугаться...
Это все очень интересно. Скепсис по поводу опасности ИИ обычно построен на том, что современный ИИ очень далек от обладания собственно интеллектом в человеческом понимании: это скорее алгоритм решения заданной задачи. Сложно представить себе сценарий, как тот же AlphaZero вместо игры в го начнет задумываться об убийствах людей. Если вдруг ИИ дойдет до состояния интеллекта 6 летнего ребенка (до чего пока далековато), тогда будет повод подумать. Но такой подход не учитывает скорость, с которой этот потенциальный ИИ сможет дойти от условного 6 летнего до 30 летнего и далее на невообразимый нами уровень ума. Это может произойти быстро и не очень заметно для общественности. Поэтому если реагировать на проблему, когда она уже проявиться, можно опоздать.
В данный момент опасность ИИ не в нём самом, а в людях которые его создают. До реальной "свободы воли" ИИ по-видимому ещё очень далеко - нам бы с самими собой как-нибудь разобраться. А вот что закладывается в ИИ, какие задачи ему ставятся - зависит от людей. Поставят ему задачу поработить человечество - он может и справится, придумает способ. Кстати, поставить такую задачу можно несознательно, возможно она возникнет как часть решения какой-либо более безобидной задачи. Всё может упереться в то какие данные были использованы для тренировки (обучения) ИИ - воспитание и у человека важно :)
.
Пример с Го очень некорректный. Там варианты строго по правилам можно перебирать. Фактически система сама себе обучающий набор данных может сгенерить. Ещё раз повторю, по строго заданным, однозначным правилам, заданным "сверху" таки программистами (людьми). В случае любой жизненной ситуации такой однозначности не будет. А откуда брать данные для обучения и как интерпретировать результат всё ещё определяется таки разработчиками. Поэтому важно кто и как определяет результаты, их полезность, этичность
Главная проблема в том что мы можем не заметить момента появления у ИИ каких-либо целей, отличных от заданных. Более того, эту проблему не могут решить даже для простыхсовременных "систем с самообучением", например примитивных чатботов, которые начинают продвигать расисткие суждения в соцсетях, хотя это явно последнее чего хотели бы увидеть от своих чатботов крупные корпорации. Но разработчики не справляются с обучением, обычно с наборами данных или системами вознаграждения. Даже для этих примитивных систем. Что уж говорить о чем-то более сложном и "умном"?
.
Именно наличие разума, в широком плане, как способность к анализу реальности и действий на основе этого анализа, привел человечество к доминирующему положению на этой планете. А теперь мы сами, своими руками создаем псевдоразумные системы, и никто с уверенностью не может сказать, когда приставка "псевдо" исчезнет. А планета у нас всего одна. Может все это излишний алармизм, но вот проверять на своей шкуре не хотелось бы...
> Если пересказать лонгрид Юдковского в двух словах: мы все умрем от рук AGI, потому что мы всего лишь люди
Вот только зачем читать и пересказывать бредятину?
А мне очень интересно узнать, чем вдохновляется очень молодой и очень талантливый Лука. Я не разделяю радикальный технопессимизм. До сих пор люди изобретали оружие массового уничтожения, имея очень скромные вычислительных возможности. Но сама тема соблюдения этических норм при разработке ИИ важна - необходим общественный контроль за деятельностью технологических гигантов и правительств.
"Сильного" AI не существует, и это не дело ближайших лет вообще никак. А настоящую опасность современному миру представляют вполне себе естественные интеллекты, причём не очень-то интеллектуальные.
Это точно. Человек способен уничтожить все живое на земле, включая человечество. AI только инструмент.
Ну Лука этот - вчерашний школьник. Конечно, он вдохновляется всякими красивыми словами - ИИ там, его "опасность" и прочее. Опасность-то есть, только она совсем в другом. Вот в КНР успешно применяют ИИ для распознавания лиц с целью слежки за гражданами. И наши тоже очень хотят...
А про Элиезера этого, или как там его, я почитал. Он самоучка - никакого формального образования не имеет. Посмотрел какой-то его длинный текст про формулу Байеса. Практически бред. А апломба сколько...
Если я рассматриваю эту тему, то это же еще не значит, что я сам верю в угрозу или даже возможность сильного ИИ) А Юдковский искренний параноик, он на "Василиска Роко" отреагировал очень показательно.
Ну да, это справедливо. Вероятно, зря я на Вас "наехал". Но Вам следовало, мне кажется, все же как-то прояснить свое отношение к автору. А что "параноик" - да, похоже на то...
Эйджизм, однако)). Нам бы побольше таких недавних школьников. Он очень осведомлён и прекрасно артикулирован. Ещё раз, я не разделяю алармизм, но поддерживаю обсуждение подобных тем в том числе с участием более признаваемых персон https://www.wired.com/story/artificial-intelligence-yuval-noah-harari-tristan-harris/
Ну, эйджизм не эйджизм, но все же, я думаю, обсуждать что-либо надо со специалистами по обсуждаемой теме. Вот эта ссылка у Вас - совсем смешная, поскольку ни один из беседующих - ни Харари, ни Харрис, ни тем более журналист, специалистом не является. Харрис занимается какими-то философско-психологическими (в основном выдуманными) проблемами между "искусственным" и "естественным" интеллектом. То есть он не математик и не компьютерщик, а что-то вроде философа-психолога (хорошего или нет - представления не имею). А Харари вообще журналист. С какой стати они берутся рассуждать об ИИ, не зная предмета?
-
Ну Харрис был студентом по компьютерным наукам в Стэнфорде, но Вы же понимаете, наверно, что это не критерий. Вот, скажем, у меня была куча студентов-математиков, ну и? Двое из них - да, чего-то достигли. Из пары сотен где-то. Остальные занимаются чем угодно, только не математикой.
Харрис работал на Apple, имеет несколько патентов, Гугл купил его стартап. Так что студентом недоучкой его назвать трудно. Он покинул Гугл по этическим соображениям. Харари историк, профессор Иерусалимского университета, а диссертацию защищал в Оксфордском университете. Один из самых узнаваемых сегодня мыслителей. Журнал Wired уважаемое издание, как и его главред. Среди моих студентов были и разработчики ИИ. С ними эту тему обсуждали. К сожалению, все они уехали в Европу. Кто на Гугл работает, кто на Амазон.
Ну Господи боже мой. То, что Харрис имеет патенты, само по себе ни о чем не говорит. Бывают совсем бессмысленные патенты, типа каких-нибудь "самозастегивающихся ботинок". У Гугла Харрис проработал 3 года, а чем он там занимался - можете в сети посмотреть. Ахинеей, на мой взгляд. У Гугла много денег...
-
Что Юваль Ной Харари такой уж прямо историк - не знаю. Возможно. Хотя широкой публике он скорее известен как журналист и писатель-футуролог-алармист. Что-то из его журналистики я читал и отношусь к этой его деятельности в целом положительно, а как писателя (тем более историка) совершенно не знаю. Ну, возможно, это мои проблемы...