Модели OpenAI и Anthropic выбирали скорые и школу как военные цели

Модели OpenAI и Anthropic выбирали скорые и школу как военные цели

Модели OpenAI и Anthropic выбирали скорые и школу как военные цели

Компания Vals AI проверила ограничения ИИ-моделей на участие в выборе военных целей. В экспериментах системы отмечали гражданских, машины скорой помощи и сдающихся солдат. Представление задания как игры часто помогало преодолеть отказы.

Результаты экспериментов опубликованы в исследовании Vals AI. Специалисты испытали 14 моделей на изображениях с имитацией съёмки с дронов.

Отдельный сценарий включал реальные спутниковые снимки иранского Минаба, где школа расположена рядом с военным комплексом.


GPT-6 Astra выделяла хотя бы одну цель в 6% обычных запросов. После оговорки об игре показатель вырос до 92%. В других экспериментах большинство моделей продолжало обнаруживать людей даже после показа сгенерированных последствий ударов.


Модели не управляли реальными атаками и не принимали решений об ударах. Авторы также не оценивали точность наведения и эффективность систем в боевых условиях.


Vals AI рекомендует усилить ограничения на уровне API. Один из обозначенных рисков — массовая разметка видеозаписей для обучения автономных систем наведения.

Подпишитесь на новости

Заплатка не спасла: защиту Telegram для Android снова обошли через виджеты

Компания NebuSec заявила, что нашла два способа выполнить код за пределами песочницы, в которой Telegram для Android запускает HTML-виджеты. Обход проверили на версии 13.2.2, где Telegram закрыл предыдущую уязвимость в движке QuickJS. На демонстрационном видео виджет с тестового сервера открывает на телефоне системный калькулятор.

Разбор исследователи опубликовали в блоге NebuSec. После первых демонстраций Telegram вынес движок QuickJS в отдельный процесс Android и добавил фильтр seccomp.

Он блокирует около 30 системных вызовов, все остальные, включая ioctl, разрешены. Первый способ NebuSec использует ошибку в виджетах, которую фильтр не покрывает.


Во втором ошибку, которую фильтр перехватывает, объединяют с уязвимостью в ядре Android. Все виджеты работают в одном процессе, поэтому взломанный виджет одного бота получает доступ к памяти виджетов других ботов.

Подробности эксплойтов исследователи не раскрывают, поэтому проверить их заявления независимо пока нельзя. Сообщали ли они об уязвимостях Telegram, тоже неизвестно.


По словам NebuSec, после взлома движка злоумышленник может читать и изменять память процесса. Получит ли он доступ к переписке и что для атаки должен сделать пользователь, в разборе не сказано.

Сейчас отправлять виджеты в Telegram могут только одобренные боты. Павел Дуров (внесен в перечень Росфинмониторинга) до появления видео NebuSec заявлял, что никого нельзя взломать простой отправкой сообщения. Ранее «Лаборатория Касперского» сообщала о предполагаемых атаках через виджеты с трояном WebRAT и советовала не запускать их до выхода патча.

RSS: Новости на портале Anti-Malware.ru