Языковые модели тупеют от мусорных данных из интернета

Языковые модели тупеют от мусорных данных из интернета

Языковые модели тупеют от мусорных данных из интернета

Группа исследователей из Университета Техаса и Университета Пердью предложила необычную идею: большие языковые модели (LLM), вроде ChatGPT, могут «тупить» от некачественных данных примерно так же, как люди — от бесконечных часов в соцсетях.

В отчёте специалисты выдвигают «гипотезу гниения мозга LLM». Суть проста: если продолжать дообучать языковую модель на «мусорных» текстах из интернета, она со временем начнёт деградировать — хуже запоминать, терять логику и способность к рассуждению.

Авторы понимают, что отличить хороший контент от плохого сложно. Поэтому они решили изучить 100 миллионов твитов с HuggingFace и отобрать те, что подходят под определение «junk».

В первую группу попали короткие твиты с большим количеством лайков и репостов — те самые, которые вызывают максимальное вовлечение, но несут минимум смысла. Во вторую — посты с «низкой семантической ценностью»: поверхностные темы, кликбейт, громкие заявления, конспирология и прочие «триггерные» темы.

 

Чтобы проверить качество отбора, результаты GPT-4o сверили с оценками трёх аспирантов — совпадение составило 76%.

Учёные обучили четыре разные языковые модели, комбинируя «мусорные» и «качественные» данные в разных пропорциях. Потом прогнали их через тесты:

  • ARC — на логическое рассуждение,
  • RULER — на память и работу с длинным контекстом,
  • HH-RLHF и AdvBench — на этические нормы,
  • TRAIT — на анализ «личностного стиля».

Результаты оказались любопытными: чем больше в обучающем наборе было «интернет-мусора», тем хуже модель справлялась с задачами на рассуждение и память. Однако влияние на «этичность» и «черты личности» было неоднозначным: например, модель Llama-8B с 50% «мусора» даже показала лучшие результаты по «открытости» и «низкой тревожности».

Исследователи сделали вывод: переизбыток интернет-контента может привести к деградации моделей и призвали разработчиков тщательнее отбирать данные для обучения. Особенно сейчас, когда всё больше онлайн-текста создаётся уже самими ИИ — и это может ускорить эффект так называемого model collapse, когда модели начинают обучаться на собственных ошибках.

Учёные шутят: если так пойдёт и дальше, возможно, придётся вернуться к книгам — хотя бы ради того, чтобы «накормить» модели чем-то действительно качественным.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Средняя компания в России пережила 1,2 тыс. DDoS-атак за 9 месяцев

По данным группы компаний «Солар», за первые девять месяцев 2025 года на одну российскую компанию в среднем пришлось около 1,2 тыс. DDoS-атак — на 32% меньше, чем за тот же период прошлого года. Однако во время значимых событий в стране хакеры активно повторяли прошлогодние «рекорды», совмещая DDoS с атаками на веб-приложения и действиями профессиональных APT-групп.

Больше всего атак зафиксировано в телеком, ИТ, финансовом секторе, а также в государственных структурах и региональных органах власти.

Самые мощные волны DDoS пришлись на март (92,3 тыс. атак), май (79,8 тыс.) и сентябрь (80,5 тыс.).

  • В марте под удар попали страховые и финансовые компании — сразу после переговоров США и Украины в Саудовской Аравии.
  • В мае атаки пришлись на телеком и ИТ-сектор в период празднования 80-летия Победы.
  • А в сентябре — во время Единого дня голосования.

Средняя мощность атак составила 1,6 Гбит/с, а самая мощная достигла 1522 Гбит/с — в августе, когда киберпреступники атаковали телеком-оператора во время саммита Россия–США на Аляске.

Из более чем 560 тыс. атак, зафиксированных и отражённых сервисом Solar Anti-DDoS, больше всего пришлось на:

  • телеком — 126 тыс. атак,
  • ИТ-сектор — 107 тыс.,
  • финансовые компании — 37 тыс.,
  • федеральные органы власти — 35 тыс.,
  • региональные органы власти — более 25 тыс. атак.

По регионам лидер — Москва (282 тыс. атак). Далее идут Приволжский округ (44,8 тыс.) и Урал (41,3 тыс.). Эксперты отмечают, что вектор атак сместился в сторону ПФО, где расположено много промышленных и оборонных предприятий, представляющих интерес для проукраинских хакеров.

 

 

Единственным регионом, где среднее число атак на одну компанию выросло, стал Северо-Западный округ (+10% год к году) — здесь под прицелом оказались предприятия нефтепереработки на фоне новых санкций.

Эксперты «Солара» связывают общее снижение числа атак с ростом киберустойчивости компаний. Но вместе с тем злоумышленники меняют тактику: теперь они реже проводят массированные удары и чаще комбинируют DDoS, веб-атаки и действия APT-группировок для проникновения в инфраструктуру.

«DDoS-атаки стали более прицельными и синхронизируются с важными российскими и геополитическими событиями. Их эффективность снижается, но они по-прежнему используются как первый этап сложных кибератак. Поэтому компаниям важно выстраивать комплексную защиту всего онлайн-периметра», — подчеркнул Сергей Левин, руководитель направления Anti-DDoS ГК «Солар».

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru