Российские учёные ускорили обучение нейросетей в распределённых системах

Российские учёные ускорили обучение нейросетей в распределённых системах

Российские учёные ускорили обучение нейросетей в распределённых системах

Российские исследователи из Центра практического искусственного интеллекта Сбербанка и МФТИ предложили метод, который помогает снизить нагрузку на вычислительные ресурсы и ускорить обучение нейросетей в распределённых системах. Работа «Ускоренные методы со сжатыми коммуникациями для гомогенных задач распределённой оптимизации» будет представлена на международной конференции AAAI’25.

Сейчас крупные нейросети содержат миллиарды параметров, и для их обучения часто используют распределённые системы: данные разделяют между тысячами машин.

Однако в таких условиях значительная часть времени уходит на обмен информацией между устройствами, и при неэффективной передаче данных обучение может идти медленнее, чем в централизованном варианте.

Предложенный метод уменьшает количество обменов данными между устройствами, используя гомогенность локальных выборок и сжатие передаваемой информации. Это позволяет синхронизироваться реже и пересылать меньше данных без потери качества модели. Такой подход особенно полезен, если пропускная способность сети ограничена, а задержки мешают быстрому обучению.

По словам Глеба Гусева, директора Центра практического искусственного интеллекта Сбербанка, ключевая задача разработки — снизить коммуникационные издержки. Использование похожести данных и методов сжатия даёт возможность ускорить обучение и уменьшить энергозатраты.

Александр Безносиков, доцент МФТИ, отметил, что в алгоритме объединили ускорение, сжатие и учёт схожести данных. Это позволило добиться рекордно низкой коммуникационной сложности и при правильных настройках значительно сократить время обучения без потери точности — что важно для внедрения ИИ в системах с ограниченными ресурсами, включая сети с edge-устройствами.

В Нижневартовске сломался «Умный транспорт»: автобусы исчезли с карты

Жители Нижневартовска неожиданно остались без привычного способа отслеживать автобусы. В городе произошёл сбой в работе приложения «Умный транспорт», из-за чего на карте перестал отображаться общественный транспорт.

Как сообщает телеграм-канал «Транспортный цех», при попытке воспользоваться сервисом пользователи видят практически пустую карту, автобусы на ней просто отсутствуют. Нет автобусов — нет и понимания, через сколько они приедут.

В компании «Домтрансавто», которая является основным перевозчиком города, подтвердили наличие проблемы. По словам представителей перевозчика, причиной стал временный технический сбой.

Сейчас специалисты занимаются поиском и устранением неполадок. В компании заверили, что проблема затронула только приложение для отслеживания транспорта, а сами автобусы продолжают работать в обычном режиме.

Общественный транспорт по улицам ездит, просто цифровая витрина внезапно перестала показывать, где именно он находится.

Пока сервис восстанавливают, пассажирам предлагают пользоваться альтернативными приложениями. В качестве примера называют «Яндекс Карты», где движение автобусов по-прежнему отображается.

Ситуация в очередной раз напоминает, насколько сильно жители городов привыкли к цифровым сервисам. Ещё несколько лет назад люди спокойно выходили на остановку и ждали автобус по расписанию. Сегодня исчезновение иконок на карте вызывает почти такой же уровень тревоги, как отсутствие самих автобусов.

Когда именно «Умный транспорт» вернётся к нормальной работе, пока не сообщается.

На фоне этого любопытно выглядит опыт соседнего Сургута. Ранее городские власти заключили соглашение с компанией 2ГИС, благодаря чему жители могут отслеживать движение автобусов и смотреть расписание прямо в картографическом сервисе.

RSS: Новости на портале Anti-Malware.ru