Разработчики из России сократили расходы на ИИ-разметку втрое

Разработчики из России сократили расходы на ИИ-разметку втрое

Разработчики из России сократили расходы на ИИ-разметку втрое

Российские исследователи и разработчики из R&D-центра Т-Технологий, AIRI, ВШЭ, Университета Иннополис и Центра практического ИИ Сбера создали ATGen — инструмент, который помогает значительно сократить затраты на сбор и разметку данных для обучения генеративных языковых моделей. По их расчётам, расходы можно уменьшить в три раза.

Разработку представили на конференции ACL 2025 в Вене — одной из крупнейших в области вычислительной лингвистики.

Главная проблема при обучении ИИ для конкретных задач, например в юриспруденции или медицине, — это стоимость данных. Разметка требует либо привлечения экспертов, что дорого, либо значительных затрат на доступ к API больших языковых моделей. ATGen помогает обойтись меньшим объёмом данных — и при этом сохранить или даже улучшить качество модели.

Он работает по принципу активного обучения: модель сама выбирает, какие примеры ей нужны, чтобы эффективнее учиться. Это позволяет сократить объём ручной разметки в 2–4 раза.

ATGen — это не просто код. В нём есть:

  • все современные стратегии активного обучения (AL) для генерации текста,
  • веб-интерфейс для настройки, отслеживания процесса и просмотра результатов,
  • поддержка локальных и облачных языковых моделей, включая OpenAI и Anthropic,
  • поддержка batch API OpenAI — ещё один способ сэкономить на разметке,
  • встроенные инструменты оценки качества моделей.

Разработчики провели серию тестов на четырёх популярных задачах: ответы на вопросы (TriviaQA), решение задач (GSM8K), понимание текста (RACE) и суммаризация (AESLC). Стратегии активного выбора данных, такие как HUDS, HADAS и Facility Location, показали лучшие результаты по сравнению со случайной выборкой.

Оказалось, что чтобы достичь того же качества модели, что и при случайном отборе данных, достаточно размечать всего треть от объёма — это и даёт в итоге трёхкратную экономию.

ATGen объединяет сразу несколько вещей: современные методы активного обучения, автоматическую разметку с помощью больших моделей, удобный интерфейс и инструменты оценки качества. Это упрощает создание кастомных генеративных моделей — даже для небольших команд.

Фреймворк уже выложен на GitHub и распространяется под открытой лицензией MIT.

Базу IMEI будут использовать для обеления серых устройств

С 2027 года в России планируют ввести платную регистрацию смартфонов и других устройств с поддержкой мобильной связи. Размер сбора будет зависеть от стоимости гаджета. А уже с 2028 года незарегистрированные устройства могут лишиться возможности работать в сетях российских операторов.

О подготовке такого механизма сообщили «Коммерсанту» в Минцифры. Инициатива направлена на «обеление» рынка мобильных устройств, объём которого, по оценкам ведомства, достигает 1 трлн рублей.

«Сейчас прорабатывается несколько моделей регистрации устройств в базе. В том числе обсуждается взимание небольшой фиксированной платы для официально ввезённых устройств, а для ввезенных “всерую” — сбора в виде определённого процента от стоимости», — сообщили в пресс-службе Минцифры в ответ на запрос издания.

Порядок регистрации и конкретные тарифы пока находятся в стадии обсуждения. В министерстве ожидают, что нормативная база будет утверждена в 2027 году, а с 2028-го доступ к сетям получат только устройства, внесённые в реестр.

«Конкретный IMEI будет указываться в договоре с абонентом. Для пользователя это означает, что вставить сим-карту в устройство, IMEI которого не прописан в договоре, будет невозможно», — пояснил один из источников издания.

Средства, собранные за регистрацию устройств, по данным источников «Коммерсанта», либо направят в федеральный бюджет, либо в резерв универсального обслуживания. Из него, в частности, финансируется строительство базовых станций в малых населённых пунктах.

Объём «серого» рынка мобильных устройств в России оценивается почти в 1 трлн рублей. При этом повышение НДС, по мнению собеседников издания, может дополнительно простимулировать рост неофициального импорта.

«Среди устройств стоимостью выше 100 тыс. рублей как минимум половина завозится по карго-схемам и через трансграничную электронную коммерцию. Это не менее 200 млрд рублей. Разница в цене делает долю серого импорта крайне высокой», — отмечают в Inventive Retail Group. Аналогичных оценок придерживаются и в МТС.

«Незарегистрированные устройства просто перестанут работать в сетях операторов, что лишает смысла контрабандный ввоз. При этом привязка устройств к абонентам расширяет возможности идентификации пользователей. Но если база IMEI окажется недоступной, это может парализовать мобильную связь — система станет единой точкой отказа», — считает партнёр практики «Цифровая трансформация» Strategy Partners Сергей Кудряшов.

Единую базу IMEI в России планируют запустить уже в 2026 году. О её создании объявили 17 декабря на заседании Общественного совета при Минцифры.

RSS: Новости на портале Anti-Malware.ru