В России сформулировали главную проблему ИИ — у него нет страха

В России сформулировали главную проблему ИИ — у него нет страха

В России сформулировали главную проблему ИИ — у него нет страха

Искусственному интеллекту не хватает страха перед ошибкой. Такую мысль высказал заместитель главы Минцифры России Александр Шойтов на конференции BIS Summit, посвящённой информационной безопасности бизнеса и ИТ.

«В ИИ нужно встроить систему страха, чтобы он боялся совершить ошибку, как человек», — заявил Шойтов в ходе дискуссии.

Речь, конечно, не о дрожащей нейросети, которая перед каждым ответом вспоминает ипотеку и разговор с начальником. Под страхом можно понимать встроенный механизм сомнения: способность модели оценивать последствия своих действий, признавать нехватку данных и останавливаться, если цена ошибки слишком высока.

Сейчас генеративный ИИ способен уверенно выдавать неверные ответы, придумывать факты и выполнять опасные команды без человеческого ощущения риска.

Для обычного чат-бота это заканчивается галлюцинацией, а для ИИ-агента с доступом к корпоративным системам — удалёнными файлами, утечкой данных или нарушением работы инфраструктуры.

На BIS Summit прозвучала и ещё более амбициозная идея — встроить в ИИ-модели совесть. Её озвучил Николай Лишин, заместитель руководителя ФМБА России. Если страх должен удерживать систему от ошибки, то совесть, по такой логике, должна помогать оценивать допустимость самого действия.

Получается своеобразный технический портрет идеального ИИ: достаточно умный, чтобы решить задачу, достаточно напуганный, чтобы всё перепроверить, и достаточно совестливый, чтобы вовремя отказаться. Осталось только написать для этого техническое задание.

Подпишитесь на новости

16-летний исследователь получил права администратора в сервисе Microsoft

Шестнадцатилетний исследователь под псевдонимом Faav обнаружил дыру в защите внутренней аналитической платформы Microsoft Titan. Сервис принимал поддельные токены аутентификации и позволял выдавать себя за администратора, а затем выполнять SQL-запросы к подключённым базам данных.

Причиной стала детская ошибка: Titan проверял указанные в JSON Web Token данные — идентификатор арендатора, приложение и имя пользователя, — но не подтверждал криптографическую подпись.

Как рассказал сам Faav, публично доступный API платформы принимал сфабрикованный токен и связывал указанное в нём имя admin с локальной учётной записью администратора. Для атаки не требовались украденные пароли, подбор учётных данных или компрометация аккаунта Microsoft.


Исследователь нашёл 17 подключённых баз ClickHouse почти с 10 тыс. уникальных таблиц. По их метаданным он оценил общий объём хранилищ в 17,3 трлн строк. Это не означает утечку такого количества записей или данные 17,3 трлн пользователей: показатель мог включать копии, историческую информацию и производные наборы.

Во время ограниченной проверки исследователь увидел метаданные и десятки тысяч записей, связанных с аккаунтами, адресами сотрудников и организациями.

Он также выполнил два запроса к аналитике Bing, вернувших по одной строке, но утверждает, что персональные данные клиентов не изучал и массово ничего не скачивал.

Faav сообщил об уязвимости Microsoft 5 сентября. Уже 9 сентября корпорация закрыла публичный доступ к API, а 17 сентября выплатила исследователю $5000. Доказательств того, что брешь ранее использовали злоумышленники, нет.

RSS: Новости на портале Anti-Malware.ru