Языковые модели тупеют от мусорных данных из интернета

Языковые модели тупеют от мусорных данных из интернета

Языковые модели тупеют от мусорных данных из интернета

Группа исследователей из Университета Техаса и Университета Пердью предложила необычную идею: большие языковые модели (LLM), вроде ChatGPT, могут «тупить» от некачественных данных примерно так же, как люди — от бесконечных часов в соцсетях.

В отчёте специалисты выдвигают «гипотезу гниения мозга LLM». Суть проста: если продолжать дообучать языковую модель на «мусорных» текстах из интернета, она со временем начнёт деградировать — хуже запоминать, терять логику и способность к рассуждению.

Авторы понимают, что отличить хороший контент от плохого сложно. Поэтому они решили изучить 100 миллионов твитов с HuggingFace и отобрать те, что подходят под определение «junk».

В первую группу попали короткие твиты с большим количеством лайков и репостов — те самые, которые вызывают максимальное вовлечение, но несут минимум смысла. Во вторую — посты с «низкой семантической ценностью»: поверхностные темы, кликбейт, громкие заявления, конспирология и прочие «триггерные» темы.

 

Чтобы проверить качество отбора, результаты GPT-4o сверили с оценками трёх аспирантов — совпадение составило 76%.

Учёные обучили четыре разные языковые модели, комбинируя «мусорные» и «качественные» данные в разных пропорциях. Потом прогнали их через тесты:

  • ARC — на логическое рассуждение,
  • RULER — на память и работу с длинным контекстом,
  • HH-RLHF и AdvBench — на этические нормы,
  • TRAIT — на анализ «личностного стиля».

Результаты оказались любопытными: чем больше в обучающем наборе было «интернет-мусора», тем хуже модель справлялась с задачами на рассуждение и память. Однако влияние на «этичность» и «черты личности» было неоднозначным: например, модель Llama-8B с 50% «мусора» даже показала лучшие результаты по «открытости» и «низкой тревожности».

Исследователи сделали вывод: переизбыток интернет-контента может привести к деградации моделей и призвали разработчиков тщательнее отбирать данные для обучения. Особенно сейчас, когда всё больше онлайн-текста создаётся уже самими ИИ — и это может ускорить эффект так называемого model collapse, когда модели начинают обучаться на собственных ошибках.

Учёные шутят: если так пойдёт и дальше, возможно, придётся вернуться к книгам — хотя бы ради того, чтобы «накормить» модели чем-то действительно качественным.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

В VK WorkSpace появится суперапп с офлайн-режимом и защитой по ГОСТ

Компания VK Tech представила крупное обновление корпоративной платформы VK WorkSpace. В новой версии появится Суперапп с офлайн-режимом, расширенными функциями безопасности, геораспределённая Почта для федеральных компаний и федерация Мессенджера, которая позволит сотрудникам разных организаций общаться напрямую.

Обновлённый Суперапп VK WorkSpace объединяет основные корпоративные сервисы — Почту, Мессенджер, Календарь, Видеозвонки, Диск, Документы, Оргструктуру и Опросы. Благодаря модульной архитектуре сотрудники видят только нужные инструменты — например, только почту и календарь.

Теперь приложение поддерживает работу офлайн: можно читать и писать письма, создавать встречи и сверяться с календарём даже без интернета. После подключения к сети все изменения синхронизируются автоматически.

Безопасности уделено особое внимание: администраторы могут задать обязательные ПИН-коды, запретить скриншоты и использование рутированных устройств, включить уведомления о VPN, а трафик теперь можно шифровать по российским стандартам ГОСТ TLS. На мобильных устройствах данные хранятся в локальном зашифрованном контейнере.

Одним из главных нововведений стала геораспределённая Почта, рассчитанная на компании с филиалами по всей стране. Она позволяет обрабатывать внутренний трафик в региональных дата-центрах, а внешний — направлять через центральные серверы, сохраняя доступ к общей адресной книге и календарям коллег.

В Мессенджере VK WorkSpace появилась федерация — компании смогут настроить общение между своими контурами. Например, головной офис и дочерние организации смогут переписываться в общих чатах, сохраняя при этом независимость своих ИТ-инфраструктур. Добавлена также интеграция с DLP-системами для защиты корпоративной переписки от утечек.

Количество участников видеоконференции увеличено до 500 человек, а SIP-интеграция позволяет подключать офисные АТС и системы видео-конференц-связи. В Календаре теперь можно бронировать переговорные комнаты и проверять их занятость в реальном времени.

Кроме того, в платформе появится серверная версия Доски VK WorkSpace с функцией массовой миграции проектов из других систем и расширенными инструментами управления правами пользователей.

«Мы усилили стабильность, безопасность и функциональность VK WorkSpace, чтобы компании могли выстроить единое цифровое пространство для коммуникаций и продуктивной работы», — отметил директор по продукту Пётр Щеглов.

Большинство нововведений появится в релизе 25.4, который выйдет в ближайшее время. Платформа будет доступна по подписке — как в облаке, так и в контуре компании, без необходимости закупать дополнительное оборудование или программное обеспечение.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru