Языковые модели тупеют от мусорных данных из интернета

Языковые модели тупеют от мусорных данных из интернета

Языковые модели тупеют от мусорных данных из интернета

Группа исследователей из Университета Техаса и Университета Пердью предложила необычную идею: большие языковые модели (LLM), вроде ChatGPT, могут «тупить» от некачественных данных примерно так же, как люди — от бесконечных часов в соцсетях.

В отчёте специалисты выдвигают «гипотезу гниения мозга LLM». Суть проста: если продолжать дообучать языковую модель на «мусорных» текстах из интернета, она со временем начнёт деградировать — хуже запоминать, терять логику и способность к рассуждению.

Авторы понимают, что отличить хороший контент от плохого сложно. Поэтому они решили изучить 100 миллионов твитов с HuggingFace и отобрать те, что подходят под определение «junk».

В первую группу попали короткие твиты с большим количеством лайков и репостов — те самые, которые вызывают максимальное вовлечение, но несут минимум смысла. Во вторую — посты с «низкой семантической ценностью»: поверхностные темы, кликбейт, громкие заявления, конспирология и прочие «триггерные» темы.

 

Чтобы проверить качество отбора, результаты GPT-4o сверили с оценками трёх аспирантов — совпадение составило 76%.

Учёные обучили четыре разные языковые модели, комбинируя «мусорные» и «качественные» данные в разных пропорциях. Потом прогнали их через тесты:

  • ARC — на логическое рассуждение,
  • RULER — на память и работу с длинным контекстом,
  • HH-RLHF и AdvBench — на этические нормы,
  • TRAIT — на анализ «личностного стиля».

Результаты оказались любопытными: чем больше в обучающем наборе было «интернет-мусора», тем хуже модель справлялась с задачами на рассуждение и память. Однако влияние на «этичность» и «черты личности» было неоднозначным: например, модель Llama-8B с 50% «мусора» даже показала лучшие результаты по «открытости» и «низкой тревожности».

Исследователи сделали вывод: переизбыток интернет-контента может привести к деградации моделей и призвали разработчиков тщательнее отбирать данные для обучения. Особенно сейчас, когда всё больше онлайн-текста создаётся уже самими ИИ — и это может ускорить эффект так называемого model collapse, когда модели начинают обучаться на собственных ошибках.

Учёные шутят: если так пойдёт и дальше, возможно, придётся вернуться к книгам — хотя бы ради того, чтобы «накормить» модели чем-то действительно качественным.

Orion soft отдала всю линейку продуктов на регулярные пентесты CICADA8

Компания Orion soft, которая разрабатывает инфраструктурное ПО для Enterprise-сегмента, объявила о партнёрстве с CICADA8. По условиям соглашения эксперты CICADA8 будут на регулярной основе проводить тестирования на проникновение всех ключевых продуктов вендора.

Решение выглядит вполне логичным: атаки через уязвимости в ИТ-системах по-прежнему остаются одной из самых чувствительных угроз для бизнеса.

Поэтому Orion soft решила усилить уже существующий подход к безопасной разработке и добавить к нему ещё один постоянный уровень проверки.

В компании подчёркивают, что работа над безопасностью у них и так выстроена системно. В процесс входят практики DevSecOps, внутренние проверки компонентов и участие в программах поиска уязвимостей, включая bug bounty. Теперь к этому набору добавятся и регулярные пентесты всей продуктовой линейки.

Как пояснил директор по развитию бизнеса Orion soft Максим Березин, внутренних проверок и автоматизированного контроля уже недостаточно, когда продуктами компании пользуется большое число заказчиков. В качестве примера он привёл платформу виртуализации zVirt, которую, по его словам, используют более 700 компаний. Orion soft уже разместила это решение на платформе Standoff Bug Bounty, а теперь расширяет практику внешней оценки защищённости за счёт сотрудничества с CICADA8.

В рамках проекта специалисты CICADA8 будут регулярно анализировать защищённость продуктов zVirt, StarVault, Nova, Termit и Cloudlink. Проверки планируют проводить как по мере выхода новых релизов, так и в формате повторного анализа, чтобы отслеживать динамику изменений и понимать, как меняется уровень защищённости от версии к версии.

По итогам каждого этапа Orion soft будет получать детализированные отчёты с описанием найденных уязвимостей, возможных сценариев эксплуатации и рекомендациями по устранению проблем. Это позволит команде вендора быстрее закрывать обнаруженные недостатки и учитывать результаты тестов в дальнейшем развитии продуктов.

В CICADA8 отмечают, что классический пентест остаётся востребованным даже при наличии программы баг-баунти. По словам руководителя отдела анализа защищённости компании Алексея Хайдина, такой формат даёт более глубокое погружение в архитектуру продукта и более плотную работу с командой разработки. За счёт этого можно проверять сценарии, которые обычно не охватываются публичными программами поиска уязвимостей.

По сути, Orion soft делает ставку на многоуровневую модель безопасности: внутренние процессы, публичный поиск багов и регулярный внешний анализ защищённости. Для заказчиков это означает более предсказуемый и системный подход к безопасности инфраструктурных решений — особенно в условиях, когда требования к защите корпоративных систем становятся всё строже.

RSS: Новости на портале Anti-Malware.ru