Российские учёные ускорили обучение нейросетей в распределённых системах

Российские учёные ускорили обучение нейросетей в распределённых системах

Российские учёные ускорили обучение нейросетей в распределённых системах

Российские исследователи из Центра практического искусственного интеллекта Сбербанка и МФТИ предложили метод, который помогает снизить нагрузку на вычислительные ресурсы и ускорить обучение нейросетей в распределённых системах. Работа «Ускоренные методы со сжатыми коммуникациями для гомогенных задач распределённой оптимизации» будет представлена на международной конференции AAAI’25.

Сейчас крупные нейросети содержат миллиарды параметров, и для их обучения часто используют распределённые системы: данные разделяют между тысячами машин.

Однако в таких условиях значительная часть времени уходит на обмен информацией между устройствами, и при неэффективной передаче данных обучение может идти медленнее, чем в централизованном варианте.

Предложенный метод уменьшает количество обменов данными между устройствами, используя гомогенность локальных выборок и сжатие передаваемой информации. Это позволяет синхронизироваться реже и пересылать меньше данных без потери качества модели. Такой подход особенно полезен, если пропускная способность сети ограничена, а задержки мешают быстрому обучению.

По словам Глеба Гусева, директора Центра практического искусственного интеллекта Сбербанка, ключевая задача разработки — снизить коммуникационные издержки. Использование похожести данных и методов сжатия даёт возможность ускорить обучение и уменьшить энергозатраты.

Александр Безносиков, доцент МФТИ, отметил, что в алгоритме объединили ускорение, сжатие и учёт схожести данных. Это позволило добиться рекордно низкой коммуникационной сложности и при правильных настройках значительно сократить время обучения без потери точности — что важно для внедрения ИИ в системах с ограниченными ресурсами, включая сети с edge-устройствами.

ФСТЭК обновила правила поиска уязвимостей и скрытых возможностей в ПО

ФСТЭК России утвердила новую методику выявления уязвимостей и недекларированных возможностей в программном обеспечении. Проще говоря, регулятор обновил правила, по которым будут искать дыры, ошибки и потенциально опасные функции в софте, проходящем сертификацию.

Новый документ предназначен прежде всего для испытательных лабораторий и разработчиков, которые участвуют в сертификации средств защиты информации, защищённого программного обеспечения и программно-аппаратных комплексов.

Методика будет применяться как при первичной сертификации продуктов, так и при внесении изменений в уже сертифицированные решения.

Особое внимание документ уделяет разработчикам средств защиты информации. Им рекомендуют использовать положения новой методики для выстраивания внутренних процессов безопасной разработки программного обеспечения в соответствии с требованиями ГОСТ Р 56939-2024.

Фактически речь идёт о том, чтобы искать потенциальные проблемы не только на финальном этапе испытаний, но и на протяжении всего жизненного цикла продукта.

При этом ФСТЭК официально отправила на пенсию предыдущую версию документа. Методика выявления уязвимостей и недекларированных возможностей, утверждённая ещё 25 декабря 2020 года, больше не применяется.

Для рынка информационной безопасности это не просто бюрократическое обновление. Методики ФСТЭК напрямую влияют на то, как проходят сертификацию российские средства защиты информации, какие проверки проводят лаборатории и какие требования предъявляются к разработчикам.

А учитывая, что количество уязвимостей в программном обеспечении продолжает расти, а требования к безопасной разработке становятся всё жёстче, обновление правил игры было лишь вопросом времени.

Так что разработчикам защищённого ПО, испытательным лабораториям и ИБ-подразделениям теперь придётся сверяться уже с новым набором требований. Старые инструкции официально ушли в архив.

RSS: Новости на портале Anti-Malware.ru