Почему роботы сходят с ума

Тем не менее существует один сценарий, не позволяющий исследователям ИИ спокойно спать по ночам. Вполне можно представить ситуацию, в которой робот получит двусмысленную или неточно сформулированную команду, которая в случае выполнения послужит спусковым крючком катастрофы.

В фильме «Я, робот» показан центральный компьютер VIKI, управляющий инфраструктурой большого города. VIKI получает команду защищать человечество, но, изучив, как люди обращаются с другими людьми, компьютер приходит к выводу, что величайшей угрозой для человечества является само человечество. Он математически определяет, что единственный способ защитить человечество заключается в том, чтобы взять управление им на себя.

Еще один пример — легенда о царе Мидасе. Он просил бога Диониса дать ему способность простым прикосновением превращать все что угодно в золото. Казалось бы, такой дар — верное средство добиться богатства и славы. Но Мидас дотрагивается до своей дочери — и она обращается в золото. Пища тоже становится несъедобной. Царь оказывается рабом того дара, который он сам вымолил у бога.

Герберт Уэллс в рассказе «Человек, который умел творить чудеса» разбирает аналогичную ситуацию. В один прекрасный день ничем не примечательный клерк становится обладателем поразительной способности. Все, что он пожелает, сбывается. Однажды вечером он отправляется выпить с приятелем, творя по дороге чудеса. Им не хочется, чтобы так приятно начавшаяся ночь вдруг закончилась, и молодой человек, сам того не подозревая, желает, чтобы Земля прекратила вращаться. Внезапно на них обрушиваются яростные ветры и гигантские волны. Людей, здания и города выбрасывает в космос со скоростью вращения Земли. Поняв, что он только что погубил родную планету, несчастный испытывает последнее желание: чтобы все вернулось в норму и стало так, как было до обретения им невероятной способности.

Здесь научная фантастика учит нас осторожности. Развивая ИИ, мы должны скрупулезно проверять возможные результаты своих действий, особенно те из них, которые, возможно, не очевидны с самого начала. В конце концов, именно способность к такому анализу отчасти и делает нас людьми.

Более 800 000 книг и аудиокниг! 📚

Получи 2 месяца Литрес Подписки в подарок и наслаждайся неограниченным чтением

ПОЛУЧИТЬ ПОДАРОК