Российские учёные ускорили обучение нейросетей в распределённых системах

Российские учёные ускорили обучение нейросетей в распределённых системах

Российские учёные ускорили обучение нейросетей в распределённых системах

Российские исследователи из Центра практического искусственного интеллекта Сбербанка и МФТИ предложили метод, который помогает снизить нагрузку на вычислительные ресурсы и ускорить обучение нейросетей в распределённых системах. Работа «Ускоренные методы со сжатыми коммуникациями для гомогенных задач распределённой оптимизации» будет представлена на международной конференции AAAI’25.

Сейчас крупные нейросети содержат миллиарды параметров, и для их обучения часто используют распределённые системы: данные разделяют между тысячами машин.

Однако в таких условиях значительная часть времени уходит на обмен информацией между устройствами, и при неэффективной передаче данных обучение может идти медленнее, чем в централизованном варианте.

Предложенный метод уменьшает количество обменов данными между устройствами, используя гомогенность локальных выборок и сжатие передаваемой информации. Это позволяет синхронизироваться реже и пересылать меньше данных без потери качества модели. Такой подход особенно полезен, если пропускная способность сети ограничена, а задержки мешают быстрому обучению.

По словам Глеба Гусева, директора Центра практического искусственного интеллекта Сбербанка, ключевая задача разработки — снизить коммуникационные издержки. Использование похожести данных и методов сжатия даёт возможность ускорить обучение и уменьшить энергозатраты.

Александр Безносиков, доцент МФТИ, отметил, что в алгоритме объединили ускорение, сжатие и учёт схожести данных. Это позволило добиться рекордно низкой коммуникационной сложности и при правильных настройках значительно сократить время обучения без потери точности — что важно для внедрения ИИ в системах с ограниченными ресурсами, включая сети с edge-устройствами.

В России хотят ограничить оплату сервисов Apple ради возврата приложений

У Apple в России может появиться ещё одна точка давления. В Минцифры на совещании с операторами «большой четвёрки» 28 марта обсуждали возможность временно приостановить оплату сервисов Apple со счёта мобильного телефона. Идея в том, чтобы подтолкнуть компанию к возвращению популярных российских приложений в App Store.

Как утверждает источник РИА Новости, речь идёт о попытке повлиять на Apple через деньги: если ограничить один из привычных способов оплаты, потери для компании могут оказаться достаточно чувствительными, чтобы она стала активнее исполнять требования российского законодательства.

В качестве претензий к Apple собеседник агентства перечислил сразу несколько тем. Во-первых, с 2022 года компания, по его словам, удалила из App Store десятки российских приложений — в том числе банковские, картографические, авиационные сервисы, классифайды и агрегаторы.

Во-вторых, Apple, как утверждается, не исполняет решение ФАС по так называемому «окну выбора» поисковика по умолчанию на iPhone и iPad.

Кроме того, источник РИА Новости заявил, что компания по-прежнему не выполняет требование о возможности установки российского магазина приложений RuStore на устройства Apple.

Ещё одна претензия касается VPN-приложений: по словам собеседника агентства, Apple не в полной мере исполняет требования Роскомнадзора по их удалению из российского App Store. При этом тема VPN для регулятора остаётся чувствительной уже не первый год.

Пока речь идёт именно об обсуждении возможной меры, а не о принятом решении. Но сам факт появления такого сценария показывает, что спор вокруг App Store, российских приложений и правил работы Apple в стране явно выходит на новый уровень.

Если эту идею всё же доведут до реализации, для пользователей это может означать новые ограничения при оплате сервисов Apple через мобильный счёт. А для самой компании — ещё один сигнал, что вопросы локального регулирования в России всё труднее игнорировать.

RSS: Новости на портале Anti-Malware.ru