Российские учёные ускорили обучение нейросетей в распределённых системах

Российские учёные ускорили обучение нейросетей в распределённых системах

Российские учёные ускорили обучение нейросетей в распределённых системах

Российские исследователи из Центра практического искусственного интеллекта Сбербанка и МФТИ предложили метод, который помогает снизить нагрузку на вычислительные ресурсы и ускорить обучение нейросетей в распределённых системах. Работа «Ускоренные методы со сжатыми коммуникациями для гомогенных задач распределённой оптимизации» будет представлена на международной конференции AAAI’25.

Сейчас крупные нейросети содержат миллиарды параметров, и для их обучения часто используют распределённые системы: данные разделяют между тысячами машин.

Однако в таких условиях значительная часть времени уходит на обмен информацией между устройствами, и при неэффективной передаче данных обучение может идти медленнее, чем в централизованном варианте.

Предложенный метод уменьшает количество обменов данными между устройствами, используя гомогенность локальных выборок и сжатие передаваемой информации. Это позволяет синхронизироваться реже и пересылать меньше данных без потери качества модели. Такой подход особенно полезен, если пропускная способность сети ограничена, а задержки мешают быстрому обучению.

По словам Глеба Гусева, директора Центра практического искусственного интеллекта Сбербанка, ключевая задача разработки — снизить коммуникационные издержки. Использование похожести данных и методов сжатия даёт возможность ускорить обучение и уменьшить энергозатраты.

Александр Безносиков, доцент МФТИ, отметил, что в алгоритме объединили ускорение, сжатие и учёт схожести данных. Это позволило добиться рекордно низкой коммуникационной сложности и при правильных настройках значительно сократить время обучения без потери точности — что важно для внедрения ИИ в системах с ограниченными ресурсами, включая сети с edge-устройствами.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Ubuntu откажется от классического sudo в пользу новой версии на Rust

Canonical объявила, что в следующем релизе Ubuntu 25.10 Questing Quokka по умолчанию появится новый инструмент для повышения привилегий — sudo-rs, переписанный на языке Rust. Таким образом, привычное sudo, написанное на C, постепенно уйдёт в прошлое. Полный переход планируют завершить в версии Ubuntu 26.04 LTS.

Выход Ubuntu 25.10 запланирован на 9 октября 2025 года. Кодовое имя — Questing Quokka: «Questing» символизирует поиск и исследование, а «Quokka» — австралийское сумчатое животное, находящееся под угрозой исчезновения.

Почему Rust? Разработчики делают ставку на безопасность и производительность.

Новый sudo-rs избавлен от уязвимостей, связанных с управлением памятью в C, и уже поддерживает важные функции: опцию NOEXEC (запрещает запускать дочерние процессы от привилегированных программ) и интеграцию с профилями AppArmor для более строгого контроля процессов.

При этом sudo-rs сохраняет совместимость и со старыми версиями ядра Linux (включая 5.9 и ниже), так что использовать его можно в самых разных окружениях. В ближайших планах команды — довести функциональность до полного соответствия классическому sudo.

Ubuntu 26.04 LTS также будет работать только с sudo-rs, хотя пользователи тестовых сборок пока могут откатиться к старому sudo при необходимости.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru