Разработчики из России сократили расходы на ИИ-разметку втрое

Разработчики из России сократили расходы на ИИ-разметку втрое

Разработчики из России сократили расходы на ИИ-разметку втрое

Российские исследователи и разработчики из R&D-центра Т-Технологий, AIRI, ВШЭ, Университета Иннополис и Центра практического ИИ Сбера создали ATGen — инструмент, который помогает значительно сократить затраты на сбор и разметку данных для обучения генеративных языковых моделей. По их расчётам, расходы можно уменьшить в три раза.

Разработку представили на конференции ACL 2025 в Вене — одной из крупнейших в области вычислительной лингвистики.

Главная проблема при обучении ИИ для конкретных задач, например в юриспруденции или медицине, — это стоимость данных. Разметка требует либо привлечения экспертов, что дорого, либо значительных затрат на доступ к API больших языковых моделей. ATGen помогает обойтись меньшим объёмом данных — и при этом сохранить или даже улучшить качество модели.

Он работает по принципу активного обучения: модель сама выбирает, какие примеры ей нужны, чтобы эффективнее учиться. Это позволяет сократить объём ручной разметки в 2–4 раза.

ATGen — это не просто код. В нём есть:

  • все современные стратегии активного обучения (AL) для генерации текста,
  • веб-интерфейс для настройки, отслеживания процесса и просмотра результатов,
  • поддержка локальных и облачных языковых моделей, включая OpenAI и Anthropic,
  • поддержка batch API OpenAI — ещё один способ сэкономить на разметке,
  • встроенные инструменты оценки качества моделей.

Разработчики провели серию тестов на четырёх популярных задачах: ответы на вопросы (TriviaQA), решение задач (GSM8K), понимание текста (RACE) и суммаризация (AESLC). Стратегии активного выбора данных, такие как HUDS, HADAS и Facility Location, показали лучшие результаты по сравнению со случайной выборкой.

Оказалось, что чтобы достичь того же качества модели, что и при случайном отборе данных, достаточно размечать всего треть от объёма — это и даёт в итоге трёхкратную экономию.

ATGen объединяет сразу несколько вещей: современные методы активного обучения, автоматическую разметку с помощью больших моделей, удобный интерфейс и инструменты оценки качества. Это упрощает создание кастомных генеративных моделей — даже для небольших команд.

Фреймворк уже выложен на GitHub и распространяется под открытой лицензией MIT.

Мосгорсуд отменил запрет ЯПлакалъ

Мосгорсуд отменил запрет сайтов «ЯПлакалъ», «АнекдотовСтрит» и «Анекдотов.net». Суд вышестоящей инстанции удовлетворил апелляции, поданные Роскомнадзором и первым заместителем прокурора Москвы. Первоначальное решение было вынесено по обращению межрайонной прокуратуры.

Ресурсы обвинялись в распространении материалов, унижающих человеческое достоинство, а также направленных на разжигание национальной и расовой розни.

Чертановский суд Москвы вынес решение о запрете трёх ресурсов ещё 23 апреля, однако обнародовано оно было только 6 мая.

Это решение вызвало широкий резонанс. Руководство «ЯПлакалъ» в комментарии для «Газеты.Ru» заявило, что никаких претензий от властей к площадке не поступало, а сам запрет там встретили «с недоумением».

Роскомнадзор, однако, обратил внимание, что в решении суда не были указаны конкретные материалы и их сетевые адреса, содержащие незаконный контент. В результате ведомство не включило эти ресурсы в реестр запрещённых материалов, и сайты продолжили открываться. Кроме того, сетевой адрес «Анекдотов.net» в решении суда был указан с ошибкой.

Сегодня РИА Новости со ссылкой на источники сообщило, что прокуратура Москвы внесла апелляционное представление на решение Чертановского суда о запрете сайтов. По данным источника Lenta.ru в судебной системе, также не удалось обнаружить заключения экспертизы, на основании которого было принято решение о запрете ресурсов.

Позднее Мосгорсуд удовлетворил апелляции первого заместителя прокурора Москвы и Роскомнадзора, отменив решение Чертановского районного суда:

«Судебной коллегией по административным делам Московского городского суда решение суда первой инстанции отменено и принято новое решение, которым Чертановскому межрайонному прокурору в удовлетворении исковых требований отказано».

RSS: Новости на портале Anti-Malware.ru