Российские учёные ускорили обучение нейросетей в распределённых системах

Российские учёные ускорили обучение нейросетей в распределённых системах

Российские учёные ускорили обучение нейросетей в распределённых системах

Российские исследователи из Центра практического искусственного интеллекта Сбербанка и МФТИ предложили метод, который помогает снизить нагрузку на вычислительные ресурсы и ускорить обучение нейросетей в распределённых системах. Работа «Ускоренные методы со сжатыми коммуникациями для гомогенных задач распределённой оптимизации» будет представлена на международной конференции AAAI’25.

Сейчас крупные нейросети содержат миллиарды параметров, и для их обучения часто используют распределённые системы: данные разделяют между тысячами машин.

Однако в таких условиях значительная часть времени уходит на обмен информацией между устройствами, и при неэффективной передаче данных обучение может идти медленнее, чем в централизованном варианте.

Предложенный метод уменьшает количество обменов данными между устройствами, используя гомогенность локальных выборок и сжатие передаваемой информации. Это позволяет синхронизироваться реже и пересылать меньше данных без потери качества модели. Такой подход особенно полезен, если пропускная способность сети ограничена, а задержки мешают быстрому обучению.

По словам Глеба Гусева, директора Центра практического искусственного интеллекта Сбербанка, ключевая задача разработки — снизить коммуникационные издержки. Использование похожести данных и методов сжатия даёт возможность ускорить обучение и уменьшить энергозатраты.

Александр Безносиков, доцент МФТИ, отметил, что в алгоритме объединили ускорение, сжатие и учёт схожести данных. Это позволило добиться рекордно низкой коммуникационной сложности и при правильных настройках значительно сократить время обучения без потери точности — что важно для внедрения ИИ в системах с ограниченными ресурсами, включая сети с edge-устройствами.

81-88% первичных вердиктов сканеров кода оказались ложными

Количество обнаруженных в коде уязвимостей за год выросло на 70%, тогда как очередь на их разбор — лишь на 18%. Сканеры явно научились находить больше, а вот дополнительных инженеров безопасности к ним в комплекте не положили.

AppSec Solutions проанализировала обезличенные данные платформы AppSec.Hub: 4 214 кодовых баз общим объёмом около 510 млн строк и более 3,1 млн находок SAST-, SCA- и DAST-сканеров. В выборку вошли ИТ-компании, финтех и организации реального сектора.

Исследователи подчёркивают: рост числа проблем не обязательно означает, что разработчики внезапно стали писать хуже. С начала 2025 года по май 2026-го объём анализируемого кода увеличился с 333 до 510 млн строк, а количество кодовых баз — с 2 563 до 4 214. Чем больше кода подключают к проверке, тем больше находок получают, особенно на фоне массового вайбкодинга.

Настоящее узкое место начинается после сканирования. Среди ещё не исправленных находок 69% ждут вердикта инженера ИБ. Медианный срок устранения критических проблем за год вырос со 103 до 153 дней. Из уязвимостей, уже переданных разработчикам, закрывают от 12% до 50%.

При этом большая часть лавины — шум, ложными оказываются 81-88% первичных вердиктов сканеров. Доля действительно серьёзных находок High и Critical остаётся стабильной — около 23%. В OWASP Top 10 лидируют нарушения контроля доступа с долей 44%.

По данным разработчика, конвейер AppSec.Hub за полгода превратил 18,7 млн сырых срабатываний в 428 тыс. уникальных находок, а затем — в 9,4 тыс. групп задач на исправление. Поток ужался почти в две тысячи раз.

Правила и ИИ-помощник автоматически закрывают уже 58% первичного разбора. Когда помощник признаёт срабатывание ложным, на крупнейшей проверенной выборке он оказывался прав примерно в 97% случаев. Реальные уязвимости подтверждает человек.

RSS: Новости на портале Anti-Malware.ru