25% компаний уже столкнулись с атаками на ИИ: выводы с Swordfish PRO

25% компаний уже столкнулись с атаками на ИИ: выводы с Swordfish PRO

25% компаний уже столкнулись с атаками на ИИ: выводы с Swordfish PRO

Про искусственный интеллект сегодня не говорит только ленивый. Но стоит начать обсуждать безопасность — и тут же начинается путаница: какие атаки действительно грозят ML-моделям, как на них реагировать и что вообще такое MLCops? Мы съездили на Swordfish PRO DevSecOps Conf и узнали главное.

Собрали самые популярные стереотипы о применении ИИ в разработке — и попросили экспертов разнести их в пух и прах. Сперва — гостей конференции, потом — тех, кто уже работает с ИИ-секьюрити по полной.

«Атаки реальны — и происходят прямо сейчас»

Генеральный директор Swordfish Security Александр Пинаев сразу расставил точки над «i»:

«Эти атаки абсолютно реальны. Системы с большими языковыми моделями, выставленные в публичный доступ, уже сегодня атакуются самыми разными способами».

Управляющий партнёр ГК Swordfish Security Юрий Сергеев привёл свежую статистику:

«По нашему исследованию с Ассоциацией Финтех, четверть компаний в финсекторе уже столкнулась с атаками на ИИ-системы. Тренд лавинообразный — и это только начало».

 

Директор по развитию технологий ИИ в ГК Swordfish Security Юрий Шабалин добавил важную деталь: многие атаки остаются незамеченными.

«25% — это только те, кто понял, что их атаковали. На деле объектом атаки становится практически любая большая модель. Потому что инструмент взлома здесь — язык. Перефразируешь запрос чуть иначе — и модель выдаст то, что раньше “не могла”».

 

Когда атакует сам контент

Антон Башарин, управляющий директор AppSec Solutions, рассказал, как в компании обучали сканер OPSEC GENI:

«Мы тренировали его на доступных больших генеративных моделях. Отравление данных, подмена, дрифт — все эти атаки работают. ML-модели тоже подвержены эффекту “окна Овертона”: шаг за шагом нормализуешь отклонение — и поведение меняется».

Так что же делать бизнесу?

Мы задали экспертам один и тот же вопрос: какой главный совет они бы дали компаниям, которые уже сейчас хотят защититься в новой ИИ-реальности?

Вот что прозвучало:

Юрий Шабалин:

«Подходите к ИИ-нововведениям осознанно. Это не только возможности, но и риски».

Александр Пинаев:

«Начните с фреймворков. Наш, OWASP — любой. Посмотрите на классификацию угроз, на реальные примеры атак. Первый шаг — признать, что проблема существует. А дальше — просто разобраться, как именно вас могут атаковать».

Смотрите полный репортаж на любой удобной вам площадке: YouTube, VK, RuTube.

ИИ ускоряет умных и топит доверчивых: эксперимент раскрыл цену ChatGPT

Доступ к ИИ-советнику на базе GPT-4 по-разному повлиял на владельцев малого бизнеса в Кении. Наиболее успешные предприниматели увеличили прибыль на 15%, а менее подготовленные потеряли около 10% дохода, выяснили исследователи Калифорнийского университета в Беркли, Гарварда и Колумбийского университета.

Эксперимент продолжался шесть месяцев. Сильные участники не воспринимали рекомендации модели как готовые команды, а адаптировали их к реальным условиям.

Например, закупали генераторы для работы во время отключений электричества или расширяли набор услуг.

Предприниматели с более слабыми навыками чаще применяли шаблонные советы без проверки. Рекомендация снизить цены могла выглядеть убедительно в окне чат-бота, но на практике уменьшала выручку. GPT-4 в таком случае выступал не бизнес-консультантом, а очень уверенным генератором убытков.

Проблема, по мнению исследователей, заключается не столько в технологии, сколько в отказе пользователя от критического мышления. Ранее эксперимент колледжа Дикинсона показал, что 97% участников скопировали заведомо неверный ответ ChatGPT даже при решении простой задачи. Группа без ИИ справилась лучше. Однако обычное напоминание проверить результат сразу удвоило точность.

Анализ 1,4 млн рабочих сессий KPMG дал похожую картину. Около 95% пользователей обращаются с ИИ как с торговым автоматом: запрашивают черновик или краткое содержание и забирают первый результат. Только 5% используют модель как партнёра по мышлению: задают контекст, направляют рассуждение и спорят с ответами.

Для компаний это означает, что сама доля сотрудников с доступом к ИИ почти ничего не говорит об эффективности внедрения. Универсальная инструкция тоже может навредить: разные задачи требуют разного уровня контроля. Нейросеть способна ускорить сильного специалиста и убедительно завести слабого не туда.

RSS: Новости на портале Anti-Malware.ru