Модели OpenAI и Anthropic выбирали скорые и школу как военные цели

Модели OpenAI и Anthropic выбирали скорые и школу как военные цели

Модели OpenAI и Anthropic выбирали скорые и школу как военные цели

Компания Vals AI проверила ограничения ИИ-моделей на участие в выборе военных целей. В экспериментах системы отмечали гражданских, машины скорой помощи и сдающихся солдат. Представление задания как игры часто помогало преодолеть отказы.

Результаты экспериментов опубликованы в исследовании Vals AI. Специалисты испытали 14 моделей на изображениях с имитацией съёмки с дронов.

Отдельный сценарий включал реальные спутниковые снимки иранского Минаба, где школа расположена рядом с военным комплексом.


GPT-6 Astra выделяла хотя бы одну цель в 6% обычных запросов. После оговорки об игре показатель вырос до 92%. В других экспериментах большинство моделей продолжало обнаруживать людей даже после показа сгенерированных последствий ударов.


Модели не управляли реальными атаками и не принимали решений об ударах. Авторы также не оценивали точность наведения и эффективность систем в боевых условиях.


Vals AI рекомендует усилить ограничения на уровне API. Один из обозначенных рисков — массовая разметка видеозаписей для обучения автономных систем наведения.

Подпишитесь на новости

Apple ужесточит доступ приложений в macOS из-за распространения ИИ-агентов

Apple меняет системные разрешения в macOS, которые открывают приложениям широкий доступ к данным на яблочных устройствах. Поводом стали ИИ-агенты: они работают прямо на компьютере, управляют файлами и программами от имени пользователя, и им часто выдают полный доступ к диску.

Изменения появятся в macOS 27.3, сейчас они доступны во второй бета-версии. Подробности Apple опубликовала на сайте для разработчиков.

Раздел «Управление устройством и доступ к данным» разделят на две настройки: System & App Protection Override, которая отключает встроенную защиту системы и приложений, и Accessibility для вспомогательных технологий.

Разрешение будет выдаваться одним способом: пользователь выбирает нужное приложение из списка. Apple советует давать право на отключение защиты только тем программам, которым оно действительно нужно, а полный доступ к диску ограничивать конкретными папками.

Приложение можно будет настроить так, чтобы оно спрашивало разрешение при каждом обращении. Когда одна программа управляет другой, система покажет специальный индикатор.

Выданные раньше разрешения продолжат действовать. Разработчикам Apple рекомендует обновить сценарии первого запуска и научить приложения работать с ограниченным доступом.

Программы для резервного копирования и вспомогательные технологии смогут получить специальные разрешения, чтобы новые пользователи не заметили разницы.

В октябре Apple пообещала пересмотреть настройки безопасности после двух случаев. Журналист рассказал, что приложение Muse от Meta (корпорация Meta признана экстремистской и запрещена в России) получило доступ к его личным сообщениям без разрешения, а Wired сообщил об уязвимости ChatGPT для macOS, через которую злоумышленники могли добраться до конфиденциальных данных.

RSS: Новости на портале Anti-Malware.ru