Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

Проводник Windows 11 научился быстрее удалять большие файлы

Знакомое окно «Вычисление…», которое появляется при попытке удалить огромный файл или папку с тысячами элементов, скоро может стать менее раздражающим. Microsoft ускорила удаление крупных фрагментированных файлов в Проводнике Windows 11.

Изменение появилось в экспериментальной сборке Windows 11 Insider Preview 26300.8935 от 20 июля.

Компания формулирует улучшение осторожно: удаление стало быстрее лишь в определённых сценариях. Чудес для любой корзины Microsoft пока не обещает.

Больше всего разницу должны заметить владельцы почти заполненных накопителей. Когда свободного места мало, крупный файл нередко записывается не единым блоком, а тысячами фрагментов, разбросанных по диску. При удалении NTFS приходится найти каждый кусок и по очереди освободить занятое им пространство.

 

На HDD процесс дополнительно тормозят физические перемещения считывающей головки. Но и SSD не спасает от всей этой бухгалтерии: механики в нём нет, зато файловой системе всё равно приходится разбираться с каждым фрагментом. Microsoft не раскрывает, что именно переписала, однако, вероятно, разработчики ускорили обработку таких операций.

Ещё в июне компания обещала сделать массовое удаление файлов как минимум на 30 % быстрее. Новая сборка стала первым подтверждением того, что работа действительно добралась до тестовой Windows, а не осталась бодрым пунктом в презентации.

Заодно Microsoft ускорила загрузку домашней страницы Проводника и добавила сенсорную прокрутку в раздел «Рекомендуемые». В дальнейшем компания также планирует улучшить поиск по компьютеру и заменить древнее окно «Свойства» современной версией с тёмной темой.

Все изменения распространяются среди участников экспериментального канала постепенно. До стабильной Windows 11 они пока не добрались.

RSS: Новости на портале Anti-Malware.ru