В Пензенском университете создали антивирус с ИИ

В Пензенском университете создали антивирус с ИИ

В Пензенском университете создали антивирус с ИИ

Созданный в Пензенском университете (ПГУ) антивирус использует нейросети и машинное обучение и не требует постоянного подключения к интернету. Разработку планируют завершить в этом году, а в ноябре подать заявку на сертификацию.

Из рассказа руководителя проекта, которого цитируют «Известия», можно понять, что вооруженный ИИ защитный софт способен предугадывать действия пользователя, и его можно подстроить под конкретные условия и задачи. Пока готова только версия для Windows, умеющая распознавать трояны, руткиты и нелегальные майнеры.

Для выявления фактов заражения используются два вида анализа:«нейросетевой» и «нейросигнатурный». В первом случае написанная на Python нейросеть оценивает работу кода, выполняя сравнение с известными ей алгоритмами поведения вредоносов.

Второй компонент определяет угрозы, используя ИИ в комбинации с традиционным сигнатурным анализом. Авторы проекта исходили из того, что написанный с нуля зловред — большая редкость, вирусописатели обычно в той или иной степени используют наработки коллег по цеху.

По замыслу, созданный в стенах ПГУ антивирус можно будет использовать как в корпоративном окружении, так и в индивидуальном порядке. Продукт планируют распространять по подписке.

Заметим, без связи с Сетью (не получая обновлений) такой софт сможет детектировать только вредоносные программы с заимствованиями, притом теми, с которыми он уже сталкивался. Впрочем, приведенное репортером описание слишком лаконично и туманно, стоит подождать более конкретных дополнений.

Внедрение ИИ-технологий — новомодный и прогрессивный тренд, в России ему следуют многие крупные компании, включая представителей сферы ИБ, а Минцифры считает курс на ИИ одним из своих приоритетов. Что касается антивирусной защиты, комментатор из UserGate отметил, что применение машинного обучения способно повысить эффективность детектирования до 96%.

Как бы то ни было, подобные инструменты нельзя оставлять без контроля: нейросети не всегда выдают достоверную информацию, результаты желательно проверять. Им можно доверить черновую работу для ускорения ИБ-процессов и повышения эффективности, а принятие решений оставить за оператором.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Языковые модели тупеют от мусорных данных из интернета

Группа исследователей из Университета Техаса и Университета Пердью предложила необычную идею: большие языковые модели (LLM), вроде ChatGPT, могут «тупить» от некачественных данных примерно так же, как люди — от бесконечных часов в соцсетях.

В отчёте специалисты выдвигают «гипотезу гниения мозга LLM». Суть проста: если продолжать дообучать языковую модель на «мусорных» текстах из интернета, она со временем начнёт деградировать — хуже запоминать, терять логику и способность к рассуждению.

Авторы понимают, что отличить хороший контент от плохого сложно. Поэтому они решили изучить 100 миллионов твитов с HuggingFace и отобрать те, что подходят под определение «junk».

В первую группу попали короткие твиты с большим количеством лайков и репостов — те самые, которые вызывают максимальное вовлечение, но несут минимум смысла. Во вторую — посты с «низкой семантической ценностью»: поверхностные темы, кликбейт, громкие заявления, конспирология и прочие «триггерные» темы.

 

Чтобы проверить качество отбора, результаты GPT-4o сверили с оценками трёх аспирантов — совпадение составило 76%.

Учёные обучили четыре разные языковые модели, комбинируя «мусорные» и «качественные» данные в разных пропорциях. Потом прогнали их через тесты:

  • ARC — на логическое рассуждение,
  • RULER — на память и работу с длинным контекстом,
  • HH-RLHF и AdvBench — на этические нормы,
  • TRAIT — на анализ «личностного стиля».

Результаты оказались любопытными: чем больше в обучающем наборе было «интернет-мусора», тем хуже модель справлялась с задачами на рассуждение и память. Однако влияние на «этичность» и «черты личности» было неоднозначным: например, модель Llama-8B с 50% «мусора» даже показала лучшие результаты по «открытости» и «низкой тревожности».

Исследователи сделали вывод: переизбыток интернет-контента может привести к деградации моделей и призвали разработчиков тщательнее отбирать данные для обучения. Особенно сейчас, когда всё больше онлайн-текста создаётся уже самими ИИ — и это может ускорить эффект так называемого model collapse, когда модели начинают обучаться на собственных ошибках.

Учёные шутят: если так пойдёт и дальше, возможно, придётся вернуться к книгам — хотя бы ради того, чтобы «накормить» модели чем-то действительно качественным.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru