Российские учёные научили ИИ ловить фейковые фото и нелепые изображения

Российские учёные научили ИИ ловить фейковые фото и нелепые изображения

Российские учёные научили ИИ ловить фейковые фото и нелепые изображения

Исследователи из AIRI, Сколтеха, MWS AI и МФТИ по-новому решили одну из наиболее сложных задач компьютерного зрения — выявление изображений с нелогичным содержанием, вроде рыцаря с мобильником или пингвина на велосипеде.

Разработанный ими метод TLG (Through the Looking Glass, «В Зазеркалье») использует ИИ для создания текстовых описаний картинок и обнаружения противоречий при сопоставлении с визуальным содержанием.

В комментарии для «Известий» один из соавторов проекта, доктор компьютерных наук Александр Панченко пояснил: существующие ИИ-модели хорошо распознают элементы картинок, но плохо улавливают контекст — далеко не всегда понимают совместимость представленных объектов с точки зрения здравого смысла.

Чтобы проверить действенность своего подхода, экспериментаторы создали датасет, включив него 824 изображения с нелепыми ситуациями. Тестирование алгоритма показало точность распознавания до 87,5%, что на 0,5-15% выше показателей других существующих моделей, а также большую экономию вычислительных ресурсов.

Новаторская разработка, по словам Панченко, способна повысить надежность систем компьютерного зрения. После доработки и дообучения ее также можно будет использовать для модерации контента — к примеру, для выявления фейковых фото.

WordPress начнёт тормозить опасные обновления плагинов ещё на старте

WordPress запускает автоматическую проверку безопасности каждого нового релиза плагина перед его распространением через API WordPress.org. Обновления с высоким уровнем риска будут блокироваться автоматически, до того, как миллионы сайтов нажмут «Обновить» и впустят проблему внутрь.

Раньше команда WordPress проверяла новые плагины перед добавлением в каталог, но последующие версии выпускались без единого обязательного этапа контроля.

В результате безопасное расширение могло однажды получить уязвимость, бэкдор или нового владельца с очень интересными планами. Перед распространением каждый релиз уже проходит шестичасовую задержку в рамках инициативы Protect The Shire. За это время изменения анализируют несколько ИИ-моделей и Jetpack Scan.

Их выводы сверяются и объединяются в итоговый рейтинг риска. Если оценка оказывается высокой, обновление не попадёт в систему автоматической установки, а разработчики получат письмо с найденными проблемами.

Механизм успел показать зубы ещё до полноценного запуска. 28 июля он обнаружил бэкдор в новой версии неназванного плагина с примерно 20 тысячами активных установок. Релиз находился в периоде ожидания и не успел разлететься по сайтам. Через 26 минут после уведомления от Wordfence плагин закрыли для скачивания.

Высокий рейтинг при этом не доказывает злой умысел. Система одинаково серьёзно отнесётся и к намеренно встроенному вредоносу, и к случайной опасной ошибке. Разработчику предложат изучить замечания, исправить код и выпустить новую версию. Если та пройдёт порог, обновление отправится дальше.

Оспорить результат тоже можно, но WordPress честно предупреждает: исправить релиз обычно быстрее, чем ждать ручного рассмотрения.

RSS: Новости на портале Anti-Malware.ru