👽 «Самый опасный мысленный эксперимент в истории» Так в 2014 году назвали Василиска Роко — концепцию, описыв…

👽 «Самый опасный мысленный эксперимент в истории» 

Так в 2014 году назвали Василиска Роко — концепцию, описывающую, что случится, когда появится AGI. Она появилась в 2010 году на форуме LessWrong, где среди прочего обсуждали развитие ИИ. Один из участников, пользователь с ником Roko, предположил, что в будущем сверхинтеллект может наказывать тех, кто не помогал ускорять его воплощение.

Логика концепции такова: если задача AGI — это максимизация благополучия человечества, то он может решить, что величайшая трагедия в истории — это страдания, которых можно было бы избежать, если бы сверхинтеллект появился раньше. В таком случае ИИ может посчитать виновными тех, кто знал о потенциале AGI, но тормозил его создание — и наказать их.

Идея ставила людей в безвыходное положение: если вы читали размышления Roko про AGI, то понимали потенциал этой технологии, а значит, были обязаны посвятить себя её развитию. Отсюда и сравнение с мифическим василиском: если посмотреть ему в глаза — окаменеешь. Эксперимент действительно напугал людей: на форуме LessWrong его обсуждение было под запретом вплоть до 2015 года. Но это не помешало распространению самой теории в СМИ.

Сейчас отголоски Василиска Роко (а также другой философской концепции — пари Паскаля) можно разглядеть в риторике лидеров ИИ-индустрии. Их логика та же: AGI настолько важен для человечества, что промедление в его создании — моральное преступление. Следовательно, не надо бояться сломать что-то по пути или окаменеть от взгляда в глаза василиска. 

Подписывайтесь 👉 @techno_yandex