В России сформулировали главную проблему ИИ — у него нет страха

В России сформулировали главную проблему ИИ — у него нет страха

В России сформулировали главную проблему ИИ — у него нет страха

Искусственному интеллекту не хватает страха перед ошибкой. Такую мысль высказал заместитель главы Минцифры России Александр Шойтов на конференции BIS Summit, посвящённой информационной безопасности бизнеса и ИТ.

«В ИИ нужно встроить систему страха, чтобы он боялся совершить ошибку, как человек», — заявил Шойтов в ходе дискуссии.

Речь, конечно, не о дрожащей нейросети, которая перед каждым ответом вспоминает ипотеку и разговор с начальником. Под страхом можно понимать встроенный механизм сомнения: способность модели оценивать последствия своих действий, признавать нехватку данных и останавливаться, если цена ошибки слишком высока.

Сейчас генеративный ИИ способен уверенно выдавать неверные ответы, придумывать факты и выполнять опасные команды без человеческого ощущения риска.

Для обычного чат-бота это заканчивается галлюцинацией, а для ИИ-агента с доступом к корпоративным системам — удалёнными файлами, утечкой данных или нарушением работы инфраструктуры.

На BIS Summit прозвучала и ещё более амбициозная идея — встроить в ИИ-модели совесть. Её озвучил Николай Лишин, заместитель руководителя ФМБА России. Если страх должен удерживать систему от ошибки, то совесть, по такой логике, должна помогать оценивать допустимость самого действия.

Получается своеобразный технический портрет идеального ИИ: достаточно умный, чтобы решить задачу, достаточно напуганный, чтобы всё перепроверить, и достаточно совестливый, чтобы вовремя отказаться. Осталось только написать для этого техническое задание.

Подпишитесь на новости

Бесплатный VPN, платный трафик: браузеры россиян сделали прокси-узлами

Хотели открыть RuTracker, YouTube или ChatGPT, а заодно отдали управление браузерным трафиком неизвестному оператору. Исследователи обнаружили 31 русскоязычное расширение для Chrome, которое использует общую кодовую базу и подключает пользователей к централизованно управляемой прокси-инфраструктуре.

Кампания затронула около 356 тыс. человек, сообщили специалисты RiskyPlugins.

Самое популярное расширение — «РуТрекер VPN, расширение для доступа к сайту» — установили примерно 200 тыс. раз. В одной компании с ним оказались VPN for ChatGPT, Total VPN, VPN for Gemini, VPN for Telegram и VPN for Claude.

Все они обещают вернуть доступ к заблокированным сервисам, включая Telegram, Instagram (принадлежит корпорации Meta, признанной экстремистской и запрещённой в России), Netflix, Discord, Spotify, LinkedIn и X. Для работы расширения запрашивают весьма щедрые разрешения: управление прокси, доступ ко всем сайтам и обработку сетевой аутентификации.

Маршруты задаются через удалённо загружаемый PAC-сценарий. Это позволяет владельцам после установки менять прокси-серверы и самостоятельно решать, какой трафик направлять через свою инфраструктуру без обновления расширения и нового согласия пользователя.

Конфигурации загружаются с GitHub Pages, Blogspot, Telegram и Google Docs, а их содержимое замаскировано комбинацией Base64 и шифра Цезаря. После расшифровки исследователи обнаружили адреса прокси и общие учётные данные с ежемесячным сроком действия.

Большинство расширений обещает перенаправлять только соединения с отдельными сервисами. Однако Total VPN, по данным RiskyPlugins, пропускает через внешние узлы весь браузерный трафик.

Значит, оператор потенциально видит метаданные посещений и может получить доступ к важным элементам сессий. За VIP-доступ при этом предлагают заплатить 299 рублей.

Кто именно управляет сетью, исследователи установить не смогли. Пользователям советуют удалять подозрительные VPN для одного сайта, особенно если те требуют право проксировать вообще всё. Бесплатный обход блокировок иногда оплачивается не рублями, а собственным браузером.

RSS: Новости на портале Anti-Malware.ru