Engram от DeepSeek: как LLM научили вспоминать, а не пересчитывать

Engram от DeepSeek: как LLM научили вспоминать, а не пересчитывать

Engram от DeepSeek: как LLM научили вспоминать, а не пересчитывать

Команда DeepSeek представила новый модуль Engram, который добавляет в трансформеры то, чего им давно не хватало, — встроенную память для быстрого извлечения знаний. Идея проста, но эффектная: вместо того чтобы снова и снова пересчитывать одни и те же локальные паттерны, модель может мгновенно «вспоминать» их через O(1)-lookup и тратить вычисления на более сложные задачи — рассуждения и дальние зависимости.

Engram работает не вместо Mixture-of-Experts (MoE), а вместе с ним. Если MoE отвечает за условные вычисления, то Engram добавляет вторую ось масштабирования — условную память.

По сути, это современная версия классических N-грамм, переосмысленная как параметрическая память, которая хранит устойчивые шаблоны: частые фразы, сущности и другие «статичные» знания.

Технически Engram подключается напрямую к трансформерному бэкбону DeepSeek. Он построен на хешированных таблицах N-грамм с мультихед-хешированием, лёгкой свёрткой по контексту и контекстно-зависимым гейтингом, который решает, сколько памяти «подмешать» в каждую ветку вычислений. Всё это аккуратно встраивается в существующую архитектуру без её радикальной переделки.

 

На больших моделях DeepSeek пошла ещё дальше. В версиях Engram-27B и Engram-40B используется тот же трансформерный бэкбон, что и у MoE-27B, но часть параметров перераспределяется: меньше маршрутизируемых экспертов — больше памяти Engram. В результате Engram-27B получает около 5,7 млрд параметров памяти, а Engram-40B — уже 18,5 млрд, при этом число активируемых параметров и FLOPs остаётся тем же.

Результаты предобучения на 262 млрд токенов выглядят убедительно. При одинаковом числе активных параметров Engram-модели уверенно обходят MoE-базу: снижается задержка, растут показатели на задачах знаний и рассуждений. Например, MMLU увеличивается с 57,4 до 60,4, ARC Challenge — с 70,1 до 73,8, BBH — с 50,9 до 55,9. Улучшения есть и в коде, и в математике — от HumanEval до GSM8K.

 

Отдельно исследователи посмотрели на длинный контекст. После расширения окна до 32 768 токенов с помощью YaRN Engram-27B либо сравнивается с MoE-27B, либо превосходит его  Причём иногда Engram достигает этого при меньших вычислительных затратах.

Механистический анализ тоже говорит в пользу памяти. Варианты с Engram формируют «готовые к предсказанию» представления уже на ранних слоях, а по CKA видно, что неглубокие слои Engram соответствуют гораздо более глубоким слоям MoE. Проще говоря, часть «глубины» модель получает бесплатно, выгружая рутину в память.

Авторы подытоживают: Engram и MoE не конкурируют, а дополняют друг друга. Условные вычисления хорошо справляются с динамикой и рассуждениями, а условная память — с повторяющимися знаниями. Вместе они дают более эффективное использование параметров и вычислений без ломки архитектуры.

Indeed PAM 3.3 упрощает и усиливает контроль привилегированного доступа

Компания «Индид» представила обновлённую версию системы управления привилегированным доступом Indeed Privileged Access Manager 3.3. В новом релизе разработчик сосредоточился на том, чтобы сделать работу с привилегированными учётными записями одновременно безопаснее и удобнее — с упором на веб-доступ, упрощённое управление сессиями и более гибкий контроль.

Одним из ключевых нововведений стал компонент Web-Proxy, который открывает защищённый доступ к веб-приложениям прямо через браузер.

Для этого больше не требуется Microsoft RDS: компонент разворачивается на Linux-хостах и создаёт изолированную среду для работы с HTTPS-ресурсами. Пользователь запускает нужный веб-сервис напрямую из User Console, а администратор при этом может загрузить SSO-шаблон для автоматического заполнения учётных данных. В итоге пользователь получает быстрый доступ, не видя пароля, а безопасность остаётся на высоком уровне.

Ещё одна заметная новинка — компонент Web-терминал, который позволяет подключаться к RDP- и SSH-ресурсам напрямую из браузера. Устанавливать отдельные клиентские приложения больше не нужно: сессия запускается из User Console в пару кликов. Такой подход особенно удобен в сценариях удалённой работы и при предоставлении доступа подрядчикам, когда важны простота и контроль.

Для администраторов в Management Console появился полноценный дашборд. Он позволяет в реальном времени отслеживать ключевые показатели работы системы и активность пользователей.

На панели собрана статистика по сессиям, правам доступа, учётным записям, неудачным попыткам аутентификации, лицензиям, просмотрам учётных данных и другим событиям. Каждый виджет ведёт в соответствующий раздел системы, что упрощает разбор инцидентов и анализ происходящего.

Разработчик также расширил возможности модуля доступа к базам данных. В Indeed PAM 3.3 появилась поддержка Microsoft SQL Server благодаря новому компоненту MSSQL Proxy. Он реализован по тем же принципам, что и PostgreSQL Proxy, что делает работу с разными СУБД более единообразной и снижает нагрузку на администраторов.

Кроме того, в новой версии реализована возможность открывать сессию без повторной аутентификации. Пользователь может один раз подключиться к ресурсу по скачанному RDP-файлу или скопированной команде, не вводя учётные данные повторно. Это экономит время и одновременно снижает риски, связанные с лишним вводом конфиденциальной информации.

Как отметил руководитель продукта Indeed PAM Михаил Елычев, компания последовательно развивает систему с учётом реальных задач заказчиков — от удалённой работы сотрудников до безопасного взаимодействия с подрядчиками. По его словам, новые возможности версии 3.3 помогают повысить уровень защищённости привилегированного доступа, упростить работу пользователей и обеспечить гибкость при реализации самых разных сценариев.

RSS: Новости на портале Anti-Malware.ru