Шанс гибели человечества из-за ИИ выше 10%, считает экс-сотрудник Anthropic

Шанс гибели человечества из-за ИИ выше 10%, считает экс-сотрудник Anthropic

Шанс гибели человечества из-за ИИ выше 10%, считает экс-сотрудник Anthropic

Бывший сотрудник Anthropic Джейкоб Коксон предупредил, что гонка за всё более мощным искусственным интеллектом может привести к экзистенциальной угрозе для человечества. А руководитель направления Alignment Science в Anthropic Эван Хубингер добавил конкретики: по его личной оценке, вероятность гибели всех людей из-за ИИ в течение ближайших десяти лет превышает 10%.

Коксон покинул Anthropic, выразив тревогу из-за курса компании и всей индустрии.

Главный риск он связывает с появлением систем, способных действовать автономно и самостоятельно улучшать свои возможности. Если развитие таких моделей выйдет за пределы человеческого понимания, вернуть их под контроль может оказаться слегка сложнее, чем закрыть вкладку в браузере.

Хубингер подчеркнул, что его цифра не является официальным прогнозом Anthropic. По оценке компании, современные модели пока несут низкий риск. Исследователя тревожит следующий этап — возникновение сверхинтеллекта благодаря рекурсивному самоулучшению, которое, по его словам, развивается быстрее ожидаемого.

В основе проблемы лежит alignment — попытка заставить мощные ИИ-системы действовать в соответствии с человеческими намерениями. Специалисты занимаются этим годами, однако гарантированного способа контролировать гипотетический сверхинтеллект до сих пор нет.

При этом разработчики не собираются притормаживать: компании соревнуются в автономности, скорости и сложности моделей, пока безопасники пытаются успеть пристегнуть ремни к уже разгоняющейся ракете.

Ещё недавно главными страхами вокруг генеративного ИИ были дипфейки, сокращение рабочих мест и массовая дезинформация. Теперь внутри самой индустрии всё громче обсуждают сценарий полного исчезновения человечества.

Окажутся эти оценки трезвым предупреждением или слишком мрачной спекуляцией, пока неизвестно.

В Сеть выложили восстановленный исходный код легендарного Stuxnet

Неизвестный исследователь опубликовал на GitHub реконструированный исходный код Stuxnet — одного из самых известных и опасных компьютерных червей в истории. В репозитории представлены результаты обратной разработки вредоноса и инструкции по его сборке. В общем, цифровой экспонат из музея кибероружия теперь можно разобрать буквально по винтикам.

Stuxnet обнаружили в 2010 году, однако создавался он, предположительно, в рамках американо-израильской операции Olympic Games.

Целью атаки называли иранский завод по обогащению урана в Натанзе, где использовались промышленные контроллеры Siemens.

Добравшись до нужного оборудования, червь менял режим работы преобразователей частоты и выводил из строя роторы центрифуг. При этом операторам показывались нормальные показатели — промышленное оборудование ломалось, а на экранах царили тишина и порядок. По некоторым оценкам, атака повредила около 10% центрифуг предприятия.

Для распространения Stuxnet использовал USB-накопители, сетевые ресурсы и уязвимость Windows Print Spooler. Достаточно было открыть содержимое заражённой флешки, чтобы неизвестная на тот момент брешь запустила вредонос. Для обхода проверки драйверов применялись сертификаты, похищенные у Realtek и JMicron.

Червь также внедрялся в ПО Siemens WinCC и проекты Step 7, а затем перехватывал взаимодействие с программируемыми логическими контроллерами. Такой набор возможностей сделал Stuxnet первым широко известным вредоносом, который не просто портил файлы, а наносил физический ущерб промышленному объекту.

Идеальной операция всё же не была. Из-за ошибки в проверке окружения червь выбрался за пределы целевой сети и разлетелся по интернету, где его и заметили специалисты. В коде, к счастью, была предусмотрена дата самоуничтожения — 24 июня 2012 года.

Авторы публикации советуют изучать реконструкцию только в полностью изолированной виртуальной машине без сетевого доступа. Всё-таки это не ретроигра для Windows XP, а разобранная граната цифровой эпохи.

RSS: Новости на портале Anti-Malware.ru