В НГУ создали платформу для проверки качества данных, на которых обучают ИИ

В Новосибирском государственном университете разработали «Каппу» — платформу для управления данными, на которых обучают ИИ. Она должна помочь разобраться, кто подготовил датасет, что в нём меняли и откуда взялась ошибка. Потому что кормить модель мусором, а потом удивляться её ответам — довольно странно.

О разработке и возможности подключения других вузов сообщил сам НГУ. Университетам предлагают бесплатную облачную версию на серверах НГУ либо платную установку в собственной инфраструктуре.

«Каппа» поддерживает разметку и проверку данных, фиксирует версии наборов и авторство изменений. Исправление ошибки сохраняется в новой версии, чтобы при следующем обучении не наступать на те же грабли.

Платформа также позволяет проверять разные модели на подготовленных датасетах. При обучении фиксируются версия данных и параметры, после — результаты тестирования на эталонных наборах. Во время эксплуатации телеметрия помогает отслеживать ошибки и замечать отклонения.

Локальная установка рассчитана в том числе на случаи, когда конфиденциальные данные нельзя выносить за пределы организации.

В репозитории разработчиков среди задач проекта указаны контроль обучения, отслеживание авторства разметки и соблюдения стандартов. Здесь ставка на прослеживаемость: прежде чем требовать от ИИ безупречных ответов, полезно выяснить, чему именно его учили.