Российские учёные ускорили обучение нейросетей в распределённых системах

Российские учёные ускорили обучение нейросетей в распределённых системах

Российские учёные ускорили обучение нейросетей в распределённых системах

Российские исследователи из Центра практического искусственного интеллекта Сбербанка и МФТИ предложили метод, который помогает снизить нагрузку на вычислительные ресурсы и ускорить обучение нейросетей в распределённых системах. Работа «Ускоренные методы со сжатыми коммуникациями для гомогенных задач распределённой оптимизации» будет представлена на международной конференции AAAI’25.

Сейчас крупные нейросети содержат миллиарды параметров, и для их обучения часто используют распределённые системы: данные разделяют между тысячами машин.

Однако в таких условиях значительная часть времени уходит на обмен информацией между устройствами, и при неэффективной передаче данных обучение может идти медленнее, чем в централизованном варианте.

Предложенный метод уменьшает количество обменов данными между устройствами, используя гомогенность локальных выборок и сжатие передаваемой информации. Это позволяет синхронизироваться реже и пересылать меньше данных без потери качества модели. Такой подход особенно полезен, если пропускная способность сети ограничена, а задержки мешают быстрому обучению.

По словам Глеба Гусева, директора Центра практического искусственного интеллекта Сбербанка, ключевая задача разработки — снизить коммуникационные издержки. Использование похожести данных и методов сжатия даёт возможность ускорить обучение и уменьшить энергозатраты.

Александр Безносиков, доцент МФТИ, отметил, что в алгоритме объединили ускорение, сжатие и учёт схожести данных. Это позволило добиться рекордно низкой коммуникационной сложности и при правильных настройках значительно сократить время обучения без потери точности — что важно для внедрения ИИ в системах с ограниченными ресурсами, включая сети с edge-устройствами.

Собянин: камеры в Москве не вторгаются в личную жизнь

Мэр Москвы Сергей Собянин не считает, что развитие городских систем видеонаблюдения и цифровизации приводит к вторжению в личную жизнь граждан. По словам градоначальника, сотрудник полиции на перекрёстке тоже видит прохожих, автомобили и происходящие вокруг события. Однако это не означает вмешательства в частную жизнь.

В интервью РБК он заявил, что работа камер по своей сути мало отличается от присутствия полицейского на улице.

«Он вас видит. Ну, он же не вторгается в вашу личную жизнь. Ну, если вы начнете хулиганить, что-то такое вытворять, то... Тогда он подойдет и спросит, что вы делаете, и пресечет эти действия», — пояснил Собянин.

По мнению мэра, аналогичным образом работают и городские системы видеонаблюдения.

«Она есть и есть. Она фоновая. Она никакого отношения к вашей личной жизни не имеет. Поэтому никакого вторжения в личную жизнь там не происходит», — заявил он.

Тема городского видеонаблюдения и цифрового контроля остаётся одной из самых обсуждаемых в последние годы. Москва считается одним из мировых лидеров по количеству камер наблюдения и уровню цифровизации городских сервисов. Камеры используются для обеспечения общественной безопасности, контроля дорожного движения, поиска нарушителей и решения других задач.

При этом критики подобных систем регулярно поднимают вопросы о конфиденциальности данных и границах допустимого наблюдения со стороны государства.

Собянин же дал понять, что рассматривает камеры прежде всего как инструмент обеспечения порядка, а не как средство слежки за законопослушными гражданами.

RSS: Новости на портале Anti-Malware.ru