Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

Оператор Т2 запустил автоматический мониторинг утечек данных пользователей

Мобильный оператор T2 запустил услугу мониторинга утечек персональных данных абонентов. Новый сервис разработан совместно с ГК «Солар». О его запуске ранее сообщил президент «Ростелекома» Михаил Осеевский, выступая на SOC Forum 2025.

Тогда он отметил, что такой сервис поможет пользователям лучше понимать, с какими цифровыми угрозами они могут столкнуться.

О начале работы услуги сообщило агентство Telecom Daily. Система мониторинга, разработанная ГК «Солар», в круглосуточном режиме проверяет номера телефонов абонентов T2 на предмет попадания в базы утечек. При обнаружении инцидента пользователь автоматически получает пуш-уведомление.

Если утечка выявлена в период с 9:00 до 22:00, уведомление дополнительно отправляется в виде СМС-сообщения.

Кроме того, при подтверждении факта компрометации данных абонент может запросить детализацию утечки — с указанием того, какая именно информация оказалась раскрыта. Это позволяет оперативно принять меры, например сменить пароли или усилить защиту от нежелательных звонков и почтового спама.

Сервис стал частью программы SafeWall. Подключить услугу можно в личном кабинете на официальном сайте оператора или в мобильном приложении. Абонентская плата составляет 100 рублей в месяц.

«Новая услуга стала очередным шагом в стремлении привить нашим абонентам навыки цифровой гигиены. Она позволяет оперативно выявлять инциденты утечки данных и минимизировать их последствия. Благодаря своевременным уведомлениям клиенты получают возможность быстро реагировать и принимать необходимые меры для защиты своей информации», — прокомментировал директор по продукту и клиентскому опыту T2 Андрей Борзов.

RSS: Новости на портале Anti-Malware.ru