Российские учёные ускорили обучение нейросетей в распределённых системах

Российские учёные ускорили обучение нейросетей в распределённых системах

Российские учёные ускорили обучение нейросетей в распределённых системах

Российские исследователи из Центра практического искусственного интеллекта Сбербанка и МФТИ предложили метод, который помогает снизить нагрузку на вычислительные ресурсы и ускорить обучение нейросетей в распределённых системах. Работа «Ускоренные методы со сжатыми коммуникациями для гомогенных задач распределённой оптимизации» будет представлена на международной конференции AAAI’25.

Сейчас крупные нейросети содержат миллиарды параметров, и для их обучения часто используют распределённые системы: данные разделяют между тысячами машин.

Однако в таких условиях значительная часть времени уходит на обмен информацией между устройствами, и при неэффективной передаче данных обучение может идти медленнее, чем в централизованном варианте.

Предложенный метод уменьшает количество обменов данными между устройствами, используя гомогенность локальных выборок и сжатие передаваемой информации. Это позволяет синхронизироваться реже и пересылать меньше данных без потери качества модели. Такой подход особенно полезен, если пропускная способность сети ограничена, а задержки мешают быстрому обучению.

По словам Глеба Гусева, директора Центра практического искусственного интеллекта Сбербанка, ключевая задача разработки — снизить коммуникационные издержки. Использование похожести данных и методов сжатия даёт возможность ускорить обучение и уменьшить энергозатраты.

Александр Безносиков, доцент МФТИ, отметил, что в алгоритме объединили ускорение, сжатие и учёт схожести данных. Это позволило добиться рекордно низкой коммуникационной сложности и при правильных настройках значительно сократить время обучения без потери точности — что важно для внедрения ИИ в системах с ограниченными ресурсами, включая сети с edge-устройствами.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Как бизнесу реагировать на ИБ-инциденты: советы Даниила Бориславского

На онлайн-конференции «ИБ без фильтров» 14 августа обсудили действия бизнеса по реагированию на инциденты информационной безопасности. Один из главных тезисов выступлений — компании должны быть готовы к кибератакам, которые рано или поздно произойдут. 

Даниил Бориславский, директор по продукту Staffcop направления инфобезопасности Контур.Эгида, отметил что службы информационной безопасности должны ориентироваться на то, что в критической ситуации они покажут наихудший возможный результат. Поэтому еще до инцидентов должны быть определены меры «скорой помощи» и оперативный штаб, который будет их принимать. 

Даниил Бориславский, директор по продукту Staffcop направления информационной безопасности Контур.Эгида:

«Когда инцидент произошел, важно реагировать быстро. Сообщите CISO и CEO об инциденте и начале работы по инциденту. Попытайтесь изолировать скомпрометированные сегменты сети. Оцените предварительный ущерб, соберите оперативный штаб. И предупредите родных, что задержитесь на работе».

 

Оперативный штаб должен решать несколько задач: восстанавливать работу систем, искать и расследовать причины инцидента, информировать регуляторов и работать с общественной реакцией. Важно синхронизировать свои действия каждые 8 часов, но можно и чаще. И важно не делать все сразу, а соблюдать последовательность действий. Например, не стоит восстанавливать все из бэкапов, не сегментировав сеть. 

Помимо оперативного штаба компании нужны еще как минимум три команды, о которых подробнее можно узнать, изучив запись конференции «ИБ без фильтров».

 

Чтобы быть готовыми к атакам, важно их репетировать. Например, можно выделить отдельный день под учения, заготовить план атаки, раздать конверты, включить таймер и начать действие. После «игры» проведите анализ, чтобы обнаружить слабые места и составить план действий после учений. 

Конференция «ИБ без фильтров» собрала на одной площадке представителей ИБ-рынка, которые обсудили кейсы, связанные с профилактикой и предотвращением инцидентов, организацией ИБ-отдела, вовлечением всех сотрудников в построение культуры безопасности. Зрителями конференции в день проведения стали почти 700 человек.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru