В России сформулировали главную проблему ИИ — у него нет страха

В России сформулировали главную проблему ИИ — у него нет страха

В России сформулировали главную проблему ИИ — у него нет страха

Искусственному интеллекту не хватает страха перед ошибкой. Такую мысль высказал заместитель главы Минцифры России Александр Шойтов на конференции BIS Summit, посвящённой информационной безопасности бизнеса и ИТ.

«В ИИ нужно встроить систему страха, чтобы он боялся совершить ошибку, как человек», — заявил Шойтов в ходе дискуссии.

Речь, конечно, не о дрожащей нейросети, которая перед каждым ответом вспоминает ипотеку и разговор с начальником. Под страхом можно понимать встроенный механизм сомнения: способность модели оценивать последствия своих действий, признавать нехватку данных и останавливаться, если цена ошибки слишком высока.

Сейчас генеративный ИИ способен уверенно выдавать неверные ответы, придумывать факты и выполнять опасные команды без человеческого ощущения риска.

Для обычного чат-бота это заканчивается галлюцинацией, а для ИИ-агента с доступом к корпоративным системам — удалёнными файлами, утечкой данных или нарушением работы инфраструктуры.

На BIS Summit прозвучала и ещё более амбициозная идея — встроить в ИИ-модели совесть. Её озвучил Николай Лишин, заместитель руководителя ФМБА России. Если страх должен удерживать систему от ошибки, то совесть, по такой логике, должна помогать оценивать допустимость самого действия.

Получается своеобразный технический портрет идеального ИИ: достаточно умный, чтобы решить задачу, достаточно напуганный, чтобы всё перепроверить, и достаточно совестливый, чтобы вовремя отказаться. Осталось только написать для этого техническое задание.

Подпишитесь на новости

Квантовая случайность дала сбой: ИИ может найти подсказки для взлома

Квантовая физика умеет создавать настоящую случайность, но инженеры всё ещё способны её испортить. Генератор может успешно пройти статистические тесты и при этом выдавать атакующему достаточно подсказок, чтобы тот попробовал предсказать следующие числа.

Европейский институт телекоммуникационных стандартов выпустил руководство ETSI TR 104 171 по разработке и оценке квантовых генераторов случайных чисел — QRNG.

Такие устройства измеряют квантовый процесс, обрабатывают полученные данные и передают случайные значения криптографическим системам для создания ключей и выполнения других защитных операций.

Проблема в том, что безопасность зависит не только от квантового источника. Датчики, блоки питания, сигнальные процессоры и алгоритмы обработки способны добавлять шум, часть которого может оказаться предсказуемой.


ETSI предупреждает, что системы искусственного интеллекта могут помочь злоумышленникам анализировать большие объёмы данных и находить такие закономерности.

Ещё одним источником подсказок способны стать изменения энергопотребления и электромагнитное излучение устройства. Связав побочные сигналы с выдаваемыми числами, атакующий теоретически сможет ослабить защищённую ими криптографию.

Авторы отчёта предлагают применять принцип нулевого доверия к энтропии (entropy zero trust). Производителям и операторам следует проверять квантовый источник, контролировать обработку данных, постоянно искать аномалии, защищать оборудование от вмешательства и шифровать каналы доставки чисел приложениям.

Для расследования сбоев рекомендуется записывать время генерации, версию работающего ПО и происхождение выходных данных. В многопользовательских системах потоки разных клиентов должны быть изолированы.

RSS: Новости на портале Anti-Malware.ru