Российские учёные ускорили обучение нейросетей в распределённых системах

Российские учёные ускорили обучение нейросетей в распределённых системах

Российские учёные ускорили обучение нейросетей в распределённых системах

Российские исследователи из Центра практического искусственного интеллекта Сбербанка и МФТИ предложили метод, который помогает снизить нагрузку на вычислительные ресурсы и ускорить обучение нейросетей в распределённых системах. Работа «Ускоренные методы со сжатыми коммуникациями для гомогенных задач распределённой оптимизации» будет представлена на международной конференции AAAI’25.

Сейчас крупные нейросети содержат миллиарды параметров, и для их обучения часто используют распределённые системы: данные разделяют между тысячами машин.

Однако в таких условиях значительная часть времени уходит на обмен информацией между устройствами, и при неэффективной передаче данных обучение может идти медленнее, чем в централизованном варианте.

Предложенный метод уменьшает количество обменов данными между устройствами, используя гомогенность локальных выборок и сжатие передаваемой информации. Это позволяет синхронизироваться реже и пересылать меньше данных без потери качества модели. Такой подход особенно полезен, если пропускная способность сети ограничена, а задержки мешают быстрому обучению.

По словам Глеба Гусева, директора Центра практического искусственного интеллекта Сбербанка, ключевая задача разработки — снизить коммуникационные издержки. Использование похожести данных и методов сжатия даёт возможность ускорить обучение и уменьшить энергозатраты.

Александр Безносиков, доцент МФТИ, отметил, что в алгоритме объединили ускорение, сжатие и учёт схожести данных. Это позволило добиться рекордно низкой коммуникационной сложности и при правильных настройках значительно сократить время обучения без потери точности — что важно для внедрения ИИ в системах с ограниченными ресурсами, включая сети с edge-устройствами.

В России начало массово выходит из строя оборудование в старых ЦОД

В российских центрах обработки данных (ЦОД), введённых в эксплуатацию 10 и более лет назад, начались массовые отказы оборудования. Причина — выработка ресурса на фоне сложностей с поставками запасных частей из-за рубежа и отсутствия необходимых складских запасов.

По оценке отраслевых аналитиков, опрошенных РБК, проблема затрагивает примерно каждый пятый коммерческий ЦОД. Особенно остро ситуация проявляется в сравнительно небольших дата-центрах, а также в локальных серверных в компаниях.

Руководитель направления сервиса инженерных систем «К2Теха» Денис Полуэктов отметил, что в первой половине 2025 года запросов на устранение аварий в ЦОД, связанных с проблемами инженерной инфраструктуры, не поступало. Однако в начале 2026 года число таких обращений уже превысило 10. Состояние инженерной инфраструктуры во всех этих случаях специалист охарактеризовал как «предсмертное».

Схожую оценку дал и заместитель генерального директора по инфраструктуре интегратора «Ультиматек» Павел Приедитис. По его словам, все заявки связаны с объектами, где инфраструктура была установлена 10 и более лет назад. Именно на этот срок обычно приходится завершение жизненного цикла такого оборудования.

Член оргкомитета Профессиональной ассоциации в сфере облачных технологий (RCCPA) Антон Салов оценил долю коммерческих ЦОД, столкнувшихся с этой проблемой, в 20%. В первую очередь речь идёт о системах бесперебойного питания, дизель-генераторах и подсистемах климат-контроля.

Представители операторов ЦОД признали наличие проблем, связанных с накопленными техническими долгами. Ситуацию усугубляют не только сложности с зарубежными поставками, но и финансовые трудности самих компаний. Одним из выходов становится постепенная замена оборудования на более доступные решения российского и китайского производства. В более выгодном положении оказались те, кто успел заранее сформировать значительные запасы комплектующих.

В 2026 году уже произошло как минимум два заметных инцидента, связанных с работой ЦОД. Так, 27 марта не работал ЦОД правительства Белгородской области, однако в том случае причиной стала авария на линии электроснабжения. А 16 марта масштабный сбой произошёл у «Яндекса», причём он затронул и сторонние компании, использующие его инфраструктуру.

RSS: Новости на портале Anti-Malware.ru