Языковые модели тупеют от мусорных данных из интернета

Языковые модели тупеют от мусорных данных из интернета

Языковые модели тупеют от мусорных данных из интернета

Группа исследователей из Университета Техаса и Университета Пердью предложила необычную идею: большие языковые модели (LLM), вроде ChatGPT, могут «тупить» от некачественных данных примерно так же, как люди — от бесконечных часов в соцсетях.

В отчёте специалисты выдвигают «гипотезу гниения мозга LLM». Суть проста: если продолжать дообучать языковую модель на «мусорных» текстах из интернета, она со временем начнёт деградировать — хуже запоминать, терять логику и способность к рассуждению.

Авторы понимают, что отличить хороший контент от плохого сложно. Поэтому они решили изучить 100 миллионов твитов с HuggingFace и отобрать те, что подходят под определение «junk».

В первую группу попали короткие твиты с большим количеством лайков и репостов — те самые, которые вызывают максимальное вовлечение, но несут минимум смысла. Во вторую — посты с «низкой семантической ценностью»: поверхностные темы, кликбейт, громкие заявления, конспирология и прочие «триггерные» темы.

 

Чтобы проверить качество отбора, результаты GPT-4o сверили с оценками трёх аспирантов — совпадение составило 76%.

Учёные обучили четыре разные языковые модели, комбинируя «мусорные» и «качественные» данные в разных пропорциях. Потом прогнали их через тесты:

  • ARC — на логическое рассуждение,
  • RULER — на память и работу с длинным контекстом,
  • HH-RLHF и AdvBench — на этические нормы,
  • TRAIT — на анализ «личностного стиля».

Результаты оказались любопытными: чем больше в обучающем наборе было «интернет-мусора», тем хуже модель справлялась с задачами на рассуждение и память. Однако влияние на «этичность» и «черты личности» было неоднозначным: например, модель Llama-8B с 50% «мусора» даже показала лучшие результаты по «открытости» и «низкой тревожности».

Исследователи сделали вывод: переизбыток интернет-контента может привести к деградации моделей и призвали разработчиков тщательнее отбирать данные для обучения. Особенно сейчас, когда всё больше онлайн-текста создаётся уже самими ИИ — и это может ускорить эффект так называемого model collapse, когда модели начинают обучаться на собственных ошибках.

Учёные шутят: если так пойдёт и дальше, возможно, придётся вернуться к книгам — хотя бы ради того, чтобы «накормить» модели чем-то действительно качественным.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

BlueNoroff запустила новые атаки с применением GenAI на криптокомпании

Эксперты Kaspersky GReAT опубликовали данные о новых кампаниях киберпреступной группы BlueNoroff, входящей в состав Lazarus. Две операции — GhostCall и GhostHire — активно проводятся с апреля 2025 года и нацелены на криптовалютные и Web3-организации.

В ходе атак злоумышленники используют единые инструменты и инфраструктуру, заражая устройства на macOS и Windows.

По сути, это продолжение масштабной кампании SnatchCrypto, в рамках которой BlueNoroff охотится за активами компаний, работающих с криптовалютами, DeFi-проектами и блокчейном.

GhostCall: атака через «видеозвонок»

GhostCall ориентирована на macOS-устройства. Злоумышленники действуют через Telegram, представляясь венчурными инвесторами. Иногда они используют взломанные аккаунты реальных предпринимателей, чтобы выглядеть убедительно.

Жертву приглашают на фальшивую онлайн-встречу, оформленную под Zoom или Microsoft Teams, где «для решения проблем со звуком» предлагают установить обновление. Вместо него на устройство загружается вредоносный скрипт.

Эксперты отмечают, что преступники даже включают заранее записанные видео прежних жертв, чтобы встреча выглядела реалистично. Полученные данные затем используются не только против конкретного человека, но и против его компании или партнёров по цепочке поставок.

GhostHire: атака под видом вакансии

В кампании GhostHire злоумышленники выдают себя за рекрутеров и рассылают блокчейн-разработчикам фальшивые вакансии. Чтобы «пройти тестовое задание», кандидат должен скачать репозиторий с GitHub — внутри которого скрыта вредоносная программа.

Если жертва подключается к телеграм-боту из объявления, ей приходит ZIP-архив или ссылка, и после запуска файлов система заражается.

Обе кампании используют одну инфраструктуру и схожие инструменты. Главная цель — кража криптовалюты, конфиденциальных данных и учётных записей.

Искусственный интеллект на службе злоумышленников

По данным Kaspersky, BlueNoroff активно применяет генеративный ИИ для разработки вредоноса и автоматизации атак. Это позволяет группе быстрее создавать новые образцы, улучшать код и обходить системы защиты.

«Теперь атакующие не просто крадут криптовалюту — они используют ИИ, чтобы точнее выбирать жертв и действовать масштабнее», — объяснил старший эксперт Kaspersky GReAT Омар Амин.

По словам Соджуна Рю, одного из исследователей GReAT, BlueNoroff выводит свои кампании на новый уровень:

«Мы видим сочетание социальной инженерии, технической сложности и высокой степени персонализации. Такие атаки направлены не только на людей, но и на всю цепочку поставок внутри криптоиндустрии».

Эксперты предупреждают, что появление GhostCall и GhostHire демонстрирует переход BlueNoroff от точечных атак к более комплексным операциям с элементами социальной инженерии и использованием ИИ.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru