Ученый Андрей Макаренко – о том, стоит ли человечеству переживать об угрозе уничтожения искусственным интеллектом.
Далекие от исследований люди, полагающиеся на данные из непрофильных источников, уже фактически живут в ожидании прихода всеобъемлющего кремниевого сверхинтеллекта. И эти ожидания формируются по двум направлениям.
С одной стороны, у всех на слуху успехи глубоких нейронных сетей. Качество распознавания изображений и слитной речи превысило человеческий уровень. Программа AlphaGo выиграла матчи в го у двух сильнейших игроков мира. Компьютерный переводчик почти синхронно переводит английскую речь в китайскую, максимально сохраняя интонации и голос оригинала. Робомобили вышли на дороги общего пользования. Перечислять можно долго.
С другой – зарождение (в некоторых развитых странах уже формирование) шестого технологического уклада, разговоры о сингулярности по Рэй Курцвейлу, монетизация и приход крупных инвесторов на рынок систем искусственного интеллекта (ИИ).
Причем активно тиражируется мнение, что «мы не понимаем, как это всё работает». Непонимание рождает страхи. Наиболее распространенный – «сверхинтеллект поработит и в конце концов уничтожит человечество». На эту тему – в различных ее формулировках – уже успели высказаться многие. Для примера отметим бизнесмена Илона Маска и скончавшегося недавно астрофизика Стивена Хокинга. Поэтому у людей думающих возникает закономерный вопрос: а как обстоят дела с этой темой на самом деле, то есть со стороны непосредственно исследований в области систем искусственного интеллекта?
Как зачастую бывает в жизни, реальность внутри существенно отличается от беглого взгляда на нее снаружи. Когда говорят о том, что пришествие сверхинтеллекта, который погубит человечество, уже близко, обычно ссылаются на процитированные выше успехи глубоких нейронных сетей и тем самым допускают грубую методологическую ошибку. Связана она с тем, что отождествляют два существенно различных понятия: слабый искусственный интеллект – существенно адаптивные системы и сильный – искусственный разум.
Так вот, слабый искусственный интеллект никоим образом не может «поработить человеков», так как у него как минимум отсутствуют самостоятельные целеполагание и формирование шкалы ценностей, а также понимание смысла оперируемой им информации. Что не позволяет ему построить стратегию поведения вне заданного извне целевого критерия и ограничений. А именно к этой области искусственных интеллектуальных систем и относятся современные глубокие нейронные сети. То есть без участия человека ничего у него не выйдет.
Хорошо, а если некто (злой гений, корпорация, террористы) сформирует целевой критерий, направленный на уничтожение человечества? Что тогда? Тогда необходимо понимать, что описываемые в заметке нейросети являются представителями узкого слабого ИИ, то есть алгоритмами, действующими в рамках одной предметной области.
Эти программы представляют собой обычные продукты, которые обеспечивают для людей различные удобные сервисы. Из чего следует, что локально напакостить возможность, конечно, имеется, но устроить глобальный апокалипсис – вряд ли получится. Даже если глубокие нейронные сети войдут в состав автоматизированной системы управления атомной станции или химзавода, то «бумсик» если и случится, то никак не по злой воле искусственного интеллекта, а по воле или недосмотру проектантов или обслуживающего персонала. Потому что в случае со слабым ИИ решение локально принимает система (как и любая автоматика), глобально – человек.
В случае систем слабого ИИ это всё поддается формализации и тестированию. Конечно, это всё делается существенно сложнее, чем для существующих более простых схем, но вполне возможно. То есть ситуация сродни организации функциональной безопасности на технически сложных критически важных объектах. Нужны регламенты на проектирование, методики тестирования и оценивания рисков, правила безаварийной эксплуатации и изменение законодательства.
А что с сильным ИИ – он опасен? Ситуация опять же двоякая. Он должен иметь и уметь отделять от окружения собственное «я». Cильный ИИ способен проходить полный тест Тьюринга (успешно маскироваться под человека). И, да, теоретически он может сформировать целевую функцию и стратегию на уничтожение человечества. Но возникает встречный вопрос: а зачем ему это может понадобиться? Размышления над этим вопросом выходят за рамки данной колонки. Отметим только, что сам вопрос связан с известным эффектом экстраполирования людских представлений, страхов, ошибок и целеустремлений на иные неизвестные системы. Вспомним хотя бы распространенную боязнь вторжения инопланетян.
С другой стороны, к созданию сильного ИИ человечество пока даже не приступало. Есть множество исследований на тему искусственного разума, но, исходя из них, нельзя разработать алгоритмы, которые возможно запустить на компьютерах и реализовать «кремниевый мегамозг». Более того, у исследователей нет даже четкого понимания, что такое сознание, как происходит самоидентификация личности, а без этих «кирпичиков» продвижение вперед невозможно. Об этом, кстати, в свое время говорил Джон Маккарти – известный специалист, один из основателей направления «искусственный интеллект».
Таким образом, получается, что нагнетание истерии и страхов в контексте уничтожения человечества от «руки искусственного разума» как минимум очень преждевременно. Оно существенно мешает развитию этой области, маскирует действительно насущные проблемы, в том числе и несовершенство самого человеческого общества.
Автор – к.т.н., руководитель Лаборатории вычислительной кибернетики ИПУ РАН, основатель и руководитель научно-исследовательской группы «Конструктивная кибернетика»; IEEE Signal Processing Society Membership; IEEE Computational Intelligence Society Membership
Мнение автора может не совпадать с позицией редакции.
Андрей Макаренко
Известия, 08:30, 09.04.2018
