Разработчики из России сократили расходы на ИИ-разметку втрое

Разработчики из России сократили расходы на ИИ-разметку втрое

Разработчики из России сократили расходы на ИИ-разметку втрое

Российские исследователи и разработчики из R&D-центра Т-Технологий, AIRI, ВШЭ, Университета Иннополис и Центра практического ИИ Сбера создали ATGen — инструмент, который помогает значительно сократить затраты на сбор и разметку данных для обучения генеративных языковых моделей. По их расчётам, расходы можно уменьшить в три раза.

Разработку представили на конференции ACL 2025 в Вене — одной из крупнейших в области вычислительной лингвистики.

Главная проблема при обучении ИИ для конкретных задач, например в юриспруденции или медицине, — это стоимость данных. Разметка требует либо привлечения экспертов, что дорого, либо значительных затрат на доступ к API больших языковых моделей. ATGen помогает обойтись меньшим объёмом данных — и при этом сохранить или даже улучшить качество модели.

Он работает по принципу активного обучения: модель сама выбирает, какие примеры ей нужны, чтобы эффективнее учиться. Это позволяет сократить объём ручной разметки в 2–4 раза.

ATGen — это не просто код. В нём есть:

  • все современные стратегии активного обучения (AL) для генерации текста,
  • веб-интерфейс для настройки, отслеживания процесса и просмотра результатов,
  • поддержка локальных и облачных языковых моделей, включая OpenAI и Anthropic,
  • поддержка batch API OpenAI — ещё один способ сэкономить на разметке,
  • встроенные инструменты оценки качества моделей.

Разработчики провели серию тестов на четырёх популярных задачах: ответы на вопросы (TriviaQA), решение задач (GSM8K), понимание текста (RACE) и суммаризация (AESLC). Стратегии активного выбора данных, такие как HUDS, HADAS и Facility Location, показали лучшие результаты по сравнению со случайной выборкой.

Оказалось, что чтобы достичь того же качества модели, что и при случайном отборе данных, достаточно размечать всего треть от объёма — это и даёт в итоге трёхкратную экономию.

ATGen объединяет сразу несколько вещей: современные методы активного обучения, автоматическую разметку с помощью больших моделей, удобный интерфейс и инструменты оценки качества. Это упрощает создание кастомных генеративных моделей — даже для небольших команд.

Фреймворк уже выложен на GitHub и распространяется под открытой лицензией MIT.

SOC, NGFW и приказ ФСТЭК №117: главные темы конференции «ВАТЕРЛИНИЯ»

В Москве прошла ежегодная конференция «ВАТЕРЛИНИЯ», организованная компанией «Информзащита». В центре внимания оказались вопросы киберустойчивости, защиты критически важных процессов и подходы, которые помогают компаниям сохранять работоспособность даже в условиях растущего числа киберугроз.

В деловой программе обсуждали не столько отдельные средства защиты, сколько их совместную работу.

Эксперты говорили о безопасной разработке, мониторинге инцидентов, автоматизации процессов SOC и MSSP, а также о том, как анализ сетевого трафика помогает выявлять угрозы ещё до того, как они перерастут в серьёзный инцидент.

 

Отдельное внимание уделили требованиям приказа ФСТЭК № 117, вопросам сетевой безопасности и практическому опыту импортозамещения межсетевых экранов нового поколения (NGFW). Участники также обсуждали, как переводить регуляторные требования в реальные технические меры и обосновывать инвестиции в информационную безопасность с точки зрения бизнес-рисков.

 

Во время конференции «Информзащита» и Security Vision подписали соглашение о технологическом партнёрстве. Компании планируют совместно развивать проекты, связанные с автоматизацией процессов информационной безопасности и сервисными моделями SOC.

По словам генерального директора «Информзащиты» Михаила Визгина, сегодня проблемы компаний чаще связаны не с отсутствием средств защиты, а с тем, что они работают разрозненно. Поэтому всё больше внимания уделяется интеграции ИБ-контролей в процессы разработки, автоматизации обработки инцидентов и более глубокому анализу сетевой активности.

Конференция собрала около 200 участников — руководителей, специалистов по ИБ и ИТ, технических экспертов и представителей бизнеса. Помимо докладов, гости смогли обсудить практические вопросы с экспертами и познакомиться с решениями партнёров мероприятия.

RSS: Новости на портале Anti-Malware.ru