Однако есть кое-что, вызывающее реальное беспокойство, а именно то, что какая кучка людей через сеть в режиме реального времени будет пользоваться (а может быть и злоупотреблять?) технологией распознавания лиц, в особенности, если это все будет происходить не под контролем правоохранительных органов. Все вернется к отнюдь не добрым традициям Средних Веков - к тому, что суд будет вершить толпа, только уже не костром и пытками, а алгоритмами и разнообразными прикладными интерфейсами.
Крупные российские компании разрабатывают системы контроля автономных ИИ-агентов. Спрос на такие решения растёт вслед за способностями нейросетей: вчера они сочиняли письма, а сегодня уже запускают код, открывают файлы и самостоятельно ходят по корпоративным системам. Оставлять такого сотрудника без присмотра становится опасно.
Основой нового направления стала инфраструктура harness — программная обвязка вокруг языковой модели, сообщают «Известия».
Она подключает память, данные и внешние инструменты, определяет доступные агенту действия и решает, когда нужно остановиться и позвать человека.
Собственные harness-решения создают Яндекс, MWS AI, «Сбер» и другие компании. Они разрабатывают маршрутизацию запросов между моделями, контроль расхода вычислительных ресурсов, мониторинг операций и защитные барьеры.
В Т1 сообщили, что за год число запросов бизнеса на механизмы контроля ИИ-агентов выросло примерно втрое. Около 80% обращений связаны с доступом к корпоративным данным, предотвращением утечек и обязательным подтверждением критических решений человеком.
Наиболее активно такими системами интересуются банки, промышленность, государственные организации и ретейл. По оценке ГК «Солар», российский рынок продуктов для защиты ИИ уже в 2026 году может достичь 1-2 млрд рублей, а вместе с услугами — 4 млрд. К концу десятилетия другие эксперты допускают рост сегмента до 3-8 млрд рублей.
Отдельный риск заключается в том, что языковая модель не всегда способна отличить данные от инструкции. Вредоносная команда, спрятанная в письме или документе, может заставить агента выполнить опасное действие. Поэтому контроль должен работать за пределами самой LLM: проверять запросы, ответы и обращения к инструментам.
Представители ФСТЭК России считают, что угрозы передачи конфиденциальной информации в сторонние ИИ-сервисы уже покрываются действующими требованиями. Минцифры продолжает работу над регулированием отрасли.
