Группа исследователей из Университета Техаса и Университета Пердью предложила необычную идею: большие языковые модели (LLM), вроде ChatGPT, могут «тупить» от некачественных данных примерно так же, как люди — от бесконечных часов в соцсетях.
В отчёте специалисты выдвигают «гипотезу гниения мозга LLM». Суть проста: если продолжать дообучать языковую модель на «мусорных» текстах из интернета, она со временем начнёт деградировать — хуже запоминать, терять логику и способность к рассуждению.
Авторы понимают, что отличить хороший контент от плохого сложно. Поэтому они решили изучить 100 миллионов твитов с HuggingFace и отобрать те, что подходят под определение «junk».
В первую группу попали короткие твиты с большим количеством лайков и репостов — те самые, которые вызывают максимальное вовлечение, но несут минимум смысла. Во вторую — посты с «низкой семантической ценностью»: поверхностные темы, кликбейт, громкие заявления, конспирология и прочие «триггерные» темы.
Чтобы проверить качество отбора, результаты GPT-4o сверили с оценками трёх аспирантов — совпадение составило 76%.
Учёные обучили четыре разные языковые модели, комбинируя «мусорные» и «качественные» данные в разных пропорциях. Потом прогнали их через тесты:
- ARC — на логическое рассуждение,
- RULER — на память и работу с длинным контекстом,
- HH-RLHF и AdvBench — на этические нормы,
- TRAIT — на анализ «личностного стиля».
Результаты оказались любопытными: чем больше в обучающем наборе было «интернет-мусора», тем хуже модель справлялась с задачами на рассуждение и память. Однако влияние на «этичность» и «черты личности» было неоднозначным: например, модель Llama-8B с 50% «мусора» даже показала лучшие результаты по «открытости» и «низкой тревожности».
Исследователи сделали вывод: переизбыток интернет-контента может привести к деградации моделей и призвали разработчиков тщательнее отбирать данные для обучения. Особенно сейчас, когда всё больше онлайн-текста создаётся уже самими ИИ — и это может ускорить эффект так называемого model collapse, когда модели начинают обучаться на собственных ошибках.
Учёные шутят: если так пойдёт и дальше, возможно, придётся вернуться к книгам — хотя бы ради того, чтобы «накормить» модели чем-то действительно качественным.
Комментирует Сергей Хайрук, аналитик InfoWatch:
«В Австралии нет закона, обязующего компанию публично сообщать об утечках даже такого масштаба. Однако, люди привыкли к прозрачности, к тому, что компании максимально открыты в вопросах, прямо касающихся интересов пользователей. С другой стороны, консультанты по информационной безопасности не рекомендуют компаниям раскрывать подробности инцидента в момент расследования. В результате руководство бизнеса каждый раз вынуждено делать нелегкий выбор, сопряженный с серьезным риском. В данном случае австралийской компании немного не повезло, злоумышленник оказался слишком тщеславен, и СМИ узнали об утечке раньше, чем закончилось расследование».