Языковые модели тупеют от мусорных данных из интернета

Екатерина Быстрова 24 Октября 2025 - 09:46

GenAI (генеративный искусственный интеллект)

...

Языковые модели тупеют от мусорных данных из интернета

Группа исследователей из Университета Техаса и Университета Пердью предложила необычную идею: большие языковые модели (LLM), вроде ChatGPT, могут «тупить» от некачественных данных примерно так же, как люди — от бесконечных часов в соцсетях.

В отчёте специалисты выдвигают «гипотезу гниения мозга LLM». Суть проста: если продолжать дообучать языковую модель на «мусорных» текстах из интернета, она со временем начнёт деградировать — хуже запоминать, терять логику и способность к рассуждению.

Авторы понимают, что отличить хороший контент от плохого сложно. Поэтому они решили изучить 100 миллионов твитов с HuggingFace и отобрать те, что подходят под определение «junk».

В первую группу попали короткие твиты с большим количеством лайков и репостов — те самые, которые вызывают максимальное вовлечение, но несут минимум смысла. Во вторую — посты с «низкой семантической ценностью»: поверхностные темы, кликбейт, громкие заявления, конспирология и прочие «триггерные» темы.

Чтобы проверить качество отбора, результаты GPT-4o сверили с оценками трёх аспирантов — совпадение составило 76%.

Учёные обучили четыре разные языковые модели, комбинируя «мусорные» и «качественные» данные в разных пропорциях. Потом прогнали их через тесты:

ARC — на логическое рассуждение,
RULER — на память и работу с длинным контекстом,
HH-RLHF и AdvBench — на этические нормы,
TRAIT — на анализ «личностного стиля».

Результаты оказались любопытными: чем больше в обучающем наборе было «интернет-мусора», тем хуже модель справлялась с задачами на рассуждение и память. Однако влияние на «этичность» и «черты личности» было неоднозначным: например, модель Llama-8B с 50% «мусора» даже показала лучшие результаты по «открытости» и «низкой тревожности».

Исследователи сделали вывод: переизбыток интернет-контента может привести к деградации моделей и призвали разработчиков тщательнее отбирать данные для обучения. Особенно сейчас, когда всё больше онлайн-текста создаётся уже самими ИИ — и это может ускорить эффект так называемого model collapse, когда модели начинают обучаться на собственных ошибках.

Учёные шутят: если так пойдёт и дальше, возможно, придётся вернуться к книгам — хотя бы ради того, чтобы «накормить» модели чем-то действительно качественным.

Следующая главная новость »

Подписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Екатерина Быстрова 29 Октября 2025 - 11:24

Android iOS Уязвимости программ Домашние пользователи ГК «Солар»

Самые уязвимые мобильные приложения — сервисы доставки и онлайн-аптеки

Центр цифровой экспертизы Роскачества и группа компаний «Солар» проверили почти 70 популярных мобильных приложений — сервисы доставки еды, онлайн-аптеки, маркетплейсы, магазины электроники и DIY. Результаты оказались тревожными: в каждом втором приложении найдены уязвимости, которые позволяют злоумышленникам перехватывать данные пользователей и выполнять атаки «человек посередине» (MITM).

Исследование охватило приложения с рейтингом выше 4 звёзд и более чем 500 тысячами скачиваний. В выборку попали сервисы, которыми пользуются сотни миллионов россиян — от 50 млн клиентов служб доставки до 72 млн покупателей электроники и техники.

Большинство проверенных приложений работало под Android. Анализ проводился с помощью модуля SAST из состава Solar appScreener, использующего автоматический бинарный анализ — без реверс-инжиниринга.

Эксперты выделили пять основных категорий уязвимостей:

Обращение к DNS-серверам без защиты — встречается почти во всех приложениях. Такая ошибка позволяет хакерам перенаправлять трафик на поддельные серверы и похищать логины, пароли и токены авторизации.
Небезопасная рефлексия — открывает злоумышленнику доступ к внутренним функциям приложения и позволяет выполнять произвольный код.
Неправильная реализация SSL — делает возможной подмену сертификатов и перехват данных даже через HTTPS. Особенно часто эта уязвимость встречается в онлайн-аптеках (93%) и сервисах доставки (75%).
Слабые алгоритмы хеширования — например, использование MD5 без соли, что позволяет легко восстановить пароли из утекших баз.
Передача данных по HTTP вместо HTTPS — даёт возможность перехватить трафик и получить токены авторизации.

«Мошенники и хакеры значительно продвинулись в технологиях обмана пользователей. Сегодня важна не только цифровая грамотность, но и здоровое недоверие к любым входящим коммуникациям», — отметил Сергей Кузьменко, руководитель Центра цифровой экспертизы Роскачества.

«Выявленные уязвимости открывают хакерам лёгкий доступ к личной и финансовой информации миллионов пользователей», — добавил Владимир Высоцкий, руководитель развития бизнеса Solar appScreener.

Эксперты призывают компании усилить контроль безопасности мобильных приложений и не полагаться на высокий рейтинг в магазинах — он не гарантирует защищённости.

Языковые модели тупеют от мусорных данных из интернета

Читайте также