В России сформулировали главную проблему ИИ — у него нет страха

В России сформулировали главную проблему ИИ — у него нет страха

В России сформулировали главную проблему ИИ — у него нет страха

Искусственному интеллекту не хватает страха перед ошибкой. Такую мысль высказал заместитель главы Минцифры России Александр Шойтов на конференции BIS Summit, посвящённой информационной безопасности бизнеса и ИТ.

«В ИИ нужно встроить систему страха, чтобы он боялся совершить ошибку, как человек», — заявил Шойтов в ходе дискуссии.

Речь, конечно, не о дрожащей нейросети, которая перед каждым ответом вспоминает ипотеку и разговор с начальником. Под страхом можно понимать встроенный механизм сомнения: способность модели оценивать последствия своих действий, признавать нехватку данных и останавливаться, если цена ошибки слишком высока.

Сейчас генеративный ИИ способен уверенно выдавать неверные ответы, придумывать факты и выполнять опасные команды без человеческого ощущения риска.

Для обычного чат-бота это заканчивается галлюцинацией, а для ИИ-агента с доступом к корпоративным системам — удалёнными файлами, утечкой данных или нарушением работы инфраструктуры.

На BIS Summit прозвучала и ещё более амбициозная идея — встроить в ИИ-модели совесть. Её озвучил Николай Лишин, заместитель руководителя ФМБА России. Если страх должен удерживать систему от ошибки, то совесть, по такой логике, должна помогать оценивать допустимость самого действия.

Получается своеобразный технический портрет идеального ИИ: достаточно умный, чтобы решить задачу, достаточно напуганный, чтобы всё перепроверить, и достаточно совестливый, чтобы вовремя отказаться. Осталось только написать для этого техническое задание.

Подпишитесь на новости

Популярный блокировщик рекламы для Chrome оказался шпионом

Два миллиона пользователей, рейтинг 4,8, больше 81 тыс. отзывов, зелёный значок Featured и статус проверенного издателя от Google. Выглядит солидно, если не считать того, что расширение Poper Blocker, по данным исследователей, собирает историю браузера, делает скриншоты и утаскивает переписки с нейросетями.

О результатах расследования Bay Area Labs сообщает Dark Reading. Исследователи утверждают, что расширение записывает полные адреса всех посещённых страниц, извлекает с них данные и собирает приблизительное местоположение пользователя.

Особое внимание Poper Blocker уделяет ChatGPT, Claude и Gemini. Расширение может сохранять запросы, ответы, названия диалогов, выбранные модели и даже тип подписки. Пользователям также назначаются идентификаторы, позволяющие связать активность на разных устройствах.

В политике конфиденциальности разработчик упоминает сбор информации о посещаемых сайтах и возможность передачи данных партнёрам. Однако при отказе от такого обмена расширение показывает предупреждение на каждой странице и заявляет, что расширенные функции блокировки не заработают. Переключатель при этом зеленеет именно при согласии.

Чтобы не спугнуть проверяющих, вредоносная функциональность активируется не сразу. Расширение ждёт 24 часа, затем загружает инструкции с управляющего сервера и выполняет их через встроенный интерпретатор. Код обфусцирован, команды обозначены числами, а адрес сервера можно менять. Такая схема прямо запрещена правилами Manifest V3.

Poper Blocker — не одиночка. Расширения того же разработчика CrxMouse и BlockSite также остаются в Chrome Web Store и вместе обслуживают почти 4 млн пользователей. Все имеют статус Established Publisher. Причём связанные с ними претензии появились ещё в 2018 году.

Bay Area Labs также заявила, что в автоматических тестах каждый пятый блокировщик рекламы с аудиторией более 100 тыс. человек передавал историю браузера наружу.

RSS: Новости на портале Anti-Malware.ru