youtube.com
Элиезер Юдковский — один из самых больших пессимистов среди экспертов ИИ. Он тщательно исследует риски развития сильного ИИ (AGI) и призывает готовиться к худшему. Ведь все, что существенно умнее вас, представляет угрозу при любом уровне его возможностей.
Элиезер Юдковский многим известен как соавтор рационалистского блога LessWrong и автор романа «Гарри Поттер и методы рационального мышления», который усилиями комьюнити переведен и издан на русском языке. Но прежде всего он философ, занимающийся вопросами ИИ.
Юдковский — ключевая фигура сообщества рационалистов, он считает разум эффективным способом познания реальности, в том числе из-за этого допущения предполагает радикальный рост возможностей и знаний ИИ в считанные годы. В философском поле рационализму противостоит эмпиризм, который опирается на наблюдения за реальностью и эксперименты — Юдковский полагает такой подход опасным, когда мы имеем дело с ИИ.
Он исследует искусственный интеллект интеллектуальными же средствами, и здесь кроется ограниченность его метода. Зато это позволяет проследить все возможные катастрофические сценарии, чем автор и занимается.
Элиезер Юдковский на Стэнфордском саммите сингулярности в 2006 году
https://www.flickr.com/photos/null0/272008489/, CC BY-SA 2.0, https://commons.wikimedia.org
Юдковский с давних пор активно участвует в спорах о безопасности ИИ для человечества. 6 июня 2022 он опубликовал перегруженный специальной терминологией лонгрид «AGI Ruin: A List of Lethalities» («Порча сильного ИИ: список смертельных опасностей»), в котором отстаивает свою весьма пессимистичную точку зрения. Во введении автор предупреждает, что такую тему сложно разложить по полочкам, а затем в своем стиле радикального рационализма приводит массу смелых образов и примеров фатальной работы ИИ.
Текст опубликован на площадке AI ALIGNMENT FORUM, которая посвящена проблеме «согласования» ИИ с целями человечества — то есть обеспечения таких его свойств, которые позволят использовать ИИ во благо и не приведут к катастрофическим последствиям. Этот текст открыл «2022 MIRI Alignment Discussion» — подборку текстов Machine Intelligence Research Institute о согласовании ИИ, продолжающую такую же подборку из 2021 года. Он вызвал оживленную дискуссию на форуме и в блоге LessWrong. Приводим основные мысли и концепции программного лонгрида Элиезера Юдковского.
