Российский ИИ выявляет нарушения техники безопасности с точностью 80%

Российский ИИ выявляет нарушения техники безопасности с точностью 80%

Российский ИИ выявляет нарушения техники безопасности с точностью 80%

В университете ИТМО создали ИИ-модель, позволяющую автоматизировать отслеживание по видео действий на промпредприятии, способных привести к ЧП. Умный помощник работает со средней точностью 80% — намного выше, чем зарубежные аналоги.

Среди других преимуществ opensource-продукта, нареченного ActionFormer, разработчики отметили легковесность (работа по 3,7 млн параметров — против десятков млн в случае VideoMAE или Hiera) и возможность распознавать сразу десять опасных или неправомерных действий.

В ходе анализа видео ИИ-ассистент расставляет скелетные точки на изображениях людей, определяет их действия и местонахождение. Обучение проводилось на датасетах из открытых источников и роликах, отснятых самими разработчиками.

 

Обкатка новинки на крупном предприятии в Пермском крае, по словам разработчиков, позволила предотвратить ряд серьезных ошибок и сократить число традиционных проверок по технике безопасности в три раза.

В октябре ожидается выпуск версии ActionFormer для многоквартирных домов. Ее внедрение позволит повысить эффективность выявления правонарушений на закрепленной за ними территории.

«В будущем мы хотим обучить модель на большем числе действий, — заявила для прессы руководитель проекта Валерия Ефимова. — Следующая задача — адаптировать систему распознавания действий для носимых камер. Например, ее можно будет использовать в шахтах при проведении инструктажа».

Исследователи взломали защиту Apple Intelligence через инъекцию промпта

Исследователи рассказали о недавно пропатченной уязвимости в Apple Intelligence, которая позволяла обходить встроенные ограничения и заставлять локальную языковую модель выполнять действия по сценарию атакующего.

Подробности атаки описаны сразу в двух публикациях. По словам авторов исследования, им удалось объединить две техники атаки и через инъекцию промпта добиться выполнения вредоносных инструкций на устройстве.

Как объясняют специалисты, запрос пользователя сначала проходит через входной фильтр, который должен отсекать опасный контент. Если всё выглядит безопасно, запрос отправляется в саму модель, а затем уже готовый ответ проверяет выходной фильтр. Если система замечает что-то подозрительное, вызов API просто завершается с ошибкой.

Чтобы обойти эту схему, исследователи собрали эксплойт из двух частей. Сначала они использовали строку с вредоносным содержимым в перевёрнутом виде и добавляли Unicode-символ RIGHT-TO-LEFT OVERRIDE. За счёт этого на экране текст отображался нормально, а вот в «сыром» виде для фильтров оставался перевёрнутым. Это помогало пройти проверку на входе и выходе.

 

Второй частью цепочки стала техника Neural Exec. По сути, это способ подменить или переопределить исходные инструкции модели так, чтобы она начала следовать уже командам атакующего, а не базовым системным ограничениям.

В итоге первая техника позволяла обмануть фильтры, а вторая — заставляла модель вести себя не так, как задумано. Для проверки исследователи прогнали 100 случайных сценариев, комбинируя системные промпты, вредоносные строки и внешне безобидные тексты, например фрагменты из статей Wikipedia. В этих тестах успешность атаки составила 76%.

О проблеме Apple уведомили ещё в октябре 2025 года. С тех пор компания усилила защитные механизмы, а патчи вошли в состав iOS 26.4 и macOS 26.4.

RSS: Новости на портале Anti-Malware.ru