Российские учёные ускорили обучение нейросетей в распределённых системах

Российские учёные ускорили обучение нейросетей в распределённых системах

Российские учёные ускорили обучение нейросетей в распределённых системах

Российские исследователи из Центра практического искусственного интеллекта Сбербанка и МФТИ предложили метод, который помогает снизить нагрузку на вычислительные ресурсы и ускорить обучение нейросетей в распределённых системах. Работа «Ускоренные методы со сжатыми коммуникациями для гомогенных задач распределённой оптимизации» будет представлена на международной конференции AAAI’25.

Сейчас крупные нейросети содержат миллиарды параметров, и для их обучения часто используют распределённые системы: данные разделяют между тысячами машин.

Однако в таких условиях значительная часть времени уходит на обмен информацией между устройствами, и при неэффективной передаче данных обучение может идти медленнее, чем в централизованном варианте.

Предложенный метод уменьшает количество обменов данными между устройствами, используя гомогенность локальных выборок и сжатие передаваемой информации. Это позволяет синхронизироваться реже и пересылать меньше данных без потери качества модели. Такой подход особенно полезен, если пропускная способность сети ограничена, а задержки мешают быстрому обучению.

По словам Глеба Гусева, директора Центра практического искусственного интеллекта Сбербанка, ключевая задача разработки — снизить коммуникационные издержки. Использование похожести данных и методов сжатия даёт возможность ускорить обучение и уменьшить энергозатраты.

Александр Безносиков, доцент МФТИ, отметил, что в алгоритме объединили ускорение, сжатие и учёт схожести данных. Это позволило добиться рекордно низкой коммуникационной сложности и при правильных настройках значительно сократить время обучения без потери точности — что важно для внедрения ИИ в системах с ограниченными ресурсами, включая сети с edge-устройствами.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Яндекс стал полноценным вендором ИБ-продуктов

На конференции Yandex Neuro Scale 2025 компания представила обновлённую линейку сервисов информационной безопасности. По словам директора по ИБ в Yandex Cloud Евгения Сидорова, Яндекс теперь можно считать полноценным вендором в этой области.

Единым окном для подключения и управления защитой стала платформа Security Deck. Она позволяет централизованно контролировать состояние безопасности облачной инфраструктуры и автоматизировать процессы защиты.

Среди обновлений — новый межсетевой экран веб-приложений (WAF), который теперь использует машинное обучение и способен блокировать атаки, не подпадающие под стандартные правила. Продукт разработан при активном участии команды SolidSoft, долю в котором Яндекс купил в июле.

Также был обновлён модуль DSPM для контроля утечек данных, с расширенной интеграцией с сервисами Yandex 360.

Кроме того, появились новые инструменты:

  • CSPM для проверки безопасности конфигураций облачной инфраструктуры;
  • Threat Detection для автоматического мониторинга и предупреждений об угрозах;
  • KSPM (Kubernetes Security Posture Management), позволяющий объединить работу разработчиков и специалистов по ИБ и защитить кластеры Kubernetes на всех этапах — от развертывания приложений до их исполнения.

По данным Яндекса, уже около четверти клиентов Yandex Cloud используют коммерческие сервисы безопасности, что связано с ростом числа атак на инфраструктуру.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru