В понедельник стало известно, что с помощью несложного запроса в популярной поисковой системе 
Бывший сотрудник Anthropic Джейкоб Коксон предупредил, что гонка за всё более мощным искусственным интеллектом может привести к экзистенциальной угрозе для человечества. А руководитель направления Alignment Science в Anthropic Эван Хубингер добавил конкретики: по его личной оценке, вероятность гибели всех людей из-за ИИ в течение ближайших десяти лет превышает 10%.
Коксон покинул Anthropic, выразив тревогу из-за курса компании и всей индустрии.
Главный риск он связывает с появлением систем, способных действовать автономно и самостоятельно улучшать свои возможности. Если развитие таких моделей выйдет за пределы человеческого понимания, вернуть их под контроль может оказаться слегка сложнее, чем закрыть вкладку в браузере.
Хубингер подчеркнул, что его цифра не является официальным прогнозом Anthropic. По оценке компании, современные модели пока несут низкий риск. Исследователя тревожит следующий этап — возникновение сверхинтеллекта благодаря рекурсивному самоулучшению, которое, по его словам, развивается быстрее ожидаемого.
В основе проблемы лежит alignment — попытка заставить мощные ИИ-системы действовать в соответствии с человеческими намерениями. Специалисты занимаются этим годами, однако гарантированного способа контролировать гипотетический сверхинтеллект до сих пор нет.
При этом разработчики не собираются притормаживать: компании соревнуются в автономности, скорости и сложности моделей, пока безопасники пытаются успеть пристегнуть ремни к уже разгоняющейся ракете.
Ещё недавно главными страхами вокруг генеративного ИИ были дипфейки, сокращение рабочих мест и массовая дезинформация. Теперь внутри самой индустрии всё громче обсуждают сценарий полного исчезновения человечества.
Окажутся эти оценки трезвым предупреждением или слишком мрачной спекуляцией, пока неизвестно.
