Российские учёные научили ИИ ловить фейковые фото и нелепые изображения

Российские учёные научили ИИ ловить фейковые фото и нелепые изображения

Российские учёные научили ИИ ловить фейковые фото и нелепые изображения

Исследователи из AIRI, Сколтеха, MWS AI и МФТИ по-новому решили одну из наиболее сложных задач компьютерного зрения — выявление изображений с нелогичным содержанием, вроде рыцаря с мобильником или пингвина на велосипеде.

Разработанный ими метод TLG (Through the Looking Glass, «В Зазеркалье») использует ИИ для создания текстовых описаний картинок и обнаружения противоречий при сопоставлении с визуальным содержанием.

В комментарии для «Известий» один из соавторов проекта, доктор компьютерных наук Александр Панченко пояснил: существующие ИИ-модели хорошо распознают элементы картинок, но плохо улавливают контекст — далеко не всегда понимают совместимость представленных объектов с точки зрения здравого смысла.

Чтобы проверить действенность своего подхода, экспериментаторы создали датасет, включив него 824 изображения с нелепыми ситуациями. Тестирование алгоритма показало точность распознавания до 87,5%, что на 0,5-15% выше показателей других существующих моделей, а также большую экономию вычислительных ресурсов.

Новаторская разработка, по словам Панченко, способна повысить надежность систем компьютерного зрения. После доработки и дообучения ее также можно будет использовать для модерации контента — к примеру, для выявления фейковых фото.

40% бизнеса считают риски генеративного ИИ критическими

Российский бизнес всё активнее доверяет искусственному интеллекту написание и анализ программного кода. Однако вместе с ростом популярности генеративного ИИ растет и тревога: почти все компании признают, что такие инструменты могут создавать серьезные риски для информационной безопасности.

К такому выводу пришли специалисты УЦСБ и группы компаний «Солар», опросившие более сотни организаций из сфер финансов, промышленности, телекома, энергетики, торговли, медицины и госсектора.

Согласно исследованию, более 80% компаний уже разрешают использовать генеративный ИИ при разработке программного обеспечения. Чаще всего его применяют для ускорения написания кода, анализа программ и поиска уязвимостей.

Но есть нюанс. Сразу 95% участников исследования считают, что генеративный ИИ несет существенные риски безопасности, а 40% называют их критическими.

При этом только половина компаний разрешает использование ИИ в контролируемом режиме — например, через сервисы, развернутые внутри собственного ИТ-контура. Еще тревожнее выглядит другая цифра: около 32% организаций фактически не контролируют использование ИИ разработчиками и не предъявляют требований по информационной безопасности.

На этом фоне бизнес всё активнее смотрит в сторону закрытых корпоративных языковых моделей. Почти 87% опрошенных положительно оценивают внедрение собственных LLM для анализа безопасности, поиска уязвимостей и автоматического исправления кода. Каждый четвертый считает такие решения необходимыми уже сейчас.

Эксперты объясняют осторожность компаний просто. Публичные ИИ-сервисы могут стать источником утечек данных, а их способность находить уязвимости далека от идеала. По оценкам специалистов, открытые LLM-модели пропускают от 40 до 50% проблем безопасности в программном коде.

Кроме того, генеративный ИИ зачастую анализирует код как набор шаблонов, а не понимает его логику целиком. В результате появляются ложные срабатывания, а сложные уязвимости могут остаться незамеченными.

Неудивительно, что компании готовы инвестировать не только в собственные ИИ-модели, но и в процессы MLSecOps, аудит безопасности, red teaming и пентесты ИИ-систем.

Получается парадоксальная ситуация: бизнес уже не хочет отказываться от искусственного интеллекта в разработке, но и полностью доверять ему пока тоже не готов. И чем глубже ИИ проникает в процессы создания ПО, тем острее становится вопрос — кто будет проверять самого ИИ.

RSS: Новости на портале Anti-Malware.ru