Engram от DeepSeek: как LLM научили вспоминать, а не пересчитывать

Engram от DeepSeek: как LLM научили вспоминать, а не пересчитывать

Engram от DeepSeek: как LLM научили вспоминать, а не пересчитывать

Команда DeepSeek представила новый модуль Engram, который добавляет в трансформеры то, чего им давно не хватало, — встроенную память для быстрого извлечения знаний. Идея проста, но эффектная: вместо того чтобы снова и снова пересчитывать одни и те же локальные паттерны, модель может мгновенно «вспоминать» их через O(1)-lookup и тратить вычисления на более сложные задачи — рассуждения и дальние зависимости.

Engram работает не вместо Mixture-of-Experts (MoE), а вместе с ним. Если MoE отвечает за условные вычисления, то Engram добавляет вторую ось масштабирования — условную память.

По сути, это современная версия классических N-грамм, переосмысленная как параметрическая память, которая хранит устойчивые шаблоны: частые фразы, сущности и другие «статичные» знания.

Технически Engram подключается напрямую к трансформерному бэкбону DeepSeek. Он построен на хешированных таблицах N-грамм с мультихед-хешированием, лёгкой свёрткой по контексту и контекстно-зависимым гейтингом, который решает, сколько памяти «подмешать» в каждую ветку вычислений. Всё это аккуратно встраивается в существующую архитектуру без её радикальной переделки.

 

На больших моделях DeepSeek пошла ещё дальше. В версиях Engram-27B и Engram-40B используется тот же трансформерный бэкбон, что и у MoE-27B, но часть параметров перераспределяется: меньше маршрутизируемых экспертов — больше памяти Engram. В результате Engram-27B получает около 5,7 млрд параметров памяти, а Engram-40B — уже 18,5 млрд, при этом число активируемых параметров и FLOPs остаётся тем же.

Результаты предобучения на 262 млрд токенов выглядят убедительно. При одинаковом числе активных параметров Engram-модели уверенно обходят MoE-базу: снижается задержка, растут показатели на задачах знаний и рассуждений. Например, MMLU увеличивается с 57,4 до 60,4, ARC Challenge — с 70,1 до 73,8, BBH — с 50,9 до 55,9. Улучшения есть и в коде, и в математике — от HumanEval до GSM8K.

 

Отдельно исследователи посмотрели на длинный контекст. После расширения окна до 32 768 токенов с помощью YaRN Engram-27B либо сравнивается с MoE-27B, либо превосходит его  Причём иногда Engram достигает этого при меньших вычислительных затратах.

Механистический анализ тоже говорит в пользу памяти. Варианты с Engram формируют «готовые к предсказанию» представления уже на ранних слоях, а по CKA видно, что неглубокие слои Engram соответствуют гораздо более глубоким слоям MoE. Проще говоря, часть «глубины» модель получает бесплатно, выгружая рутину в память.

Авторы подытоживают: Engram и MoE не конкурируют, а дополняют друг друга. Условные вычисления хорошо справляются с динамикой и рассуждениями, а условная память — с повторяющимися знаниями. Вместе они дают более эффективное использование параметров и вычислений без ломки архитектуры.

Подпишитесь на новости

Главной целью стратегии ИБ стало снижение рисков — 78% против 55% год назад

Компании всё чаще берутся за стратегию ИБ, но писать её мешает нехватка данных и поддержки руководства. Об этом говорят опросы зрителей эфира AM Live «Стратегия информационной безопасности: зачем нужна и как её защитить».

В ходе дискуссии эксперты разбирали, зачем бизнесу стратегия ИБ, как связать её с бизнес-целями, что такое риск-аппетит и недопустимые события, как отличить стратегию от списка закупок и как доказать её ценность руководству.

Ярослав Напалков (МТС Банк) поделился кейсом, как презентация стратегии топ-менеджеру вызвала агрессию, и посоветовал сначала доносить контекст. Николай Казанцев (Securitm) предложил новичкам «три чашки кофе» — пообщаться с CEO, ИТ и стейкхолдерами.

Эксперты также обсудили горизонт планирования (2-3 года с ежегодным пересмотром), роль резервного копирования и киберучений, кейсы с шифровальщиками, BYOD, DLP и построением SOC.

За год доля компаний, у которых стратегия в разработке, выросла с 9% до 28%. А тех, у кого её нет и не предвидится, стало меньше — 21% против 26%. При этом меньше компаний довели документ до рабочего состояния с метриками и кибериспытаниями: 16% против 20%.

Барьеры тоже сместились. Нехватка исходных данных выросла с 46% до 64%, отсутствие buy-in топ-менеджмента — с 25% до 43%. Кадровый дефицит остаётся главным ограничением, хотя и снизился до 59%. Николай Казанцев из Securitm объясняет это зрелостью рынка:

«По нашей статистике, лишь 15-20% служб ИБ имеют хоть как-то формализованный реестр рисков. Я даже не говорю про количественный, хотя бы качественную оценку».

Главной целью на 2027 год снижение рисков и финансового ущерба назвали 78% — рост на 23 п.п. На втором месте устойчивость и сокращение простоев критичных сервисов — 57%. Наталья Глинина из Megafon Pro Business считает это логичным:

«Нормальная цель, потому что она прямо влияет на бизнес. Финансовый ущерб считается недопустимым событием, потому что иначе ваш бизнес может перестать работать».

Соответствие регуляторам держится на уровне 59%, а оптимизация TCO и консолидация стека теряют популярность — 8% против 14%.

Оптимизм по поводу роста интереса к стратегии разделяют не все. Евгений Акимов из «Рубитеха» предположил:

«Просто те, кто были на эфире в 2025 году, разработали стратегию и на наш эфир уже не пришли. Просто новые люди, которые как-то голодны до стратегии».

А ведущий Виктор Бобыльков напомнил, что часть компаний сознательно живёт без документа:

«Одно дело, когда бюджета нет, тогда хотя бы есть исходные данные. Но мы просто не делаем стратегию, потому что смысл её делать, нам денег больше не дадут. Это стратегия стабильной оперейшн».

Участники эфира сошлись на том, что стратегия ИБ — это не список закупок, а инструмент связи с бизнес-целями, который нужно строить на риск-ориентированном подходе. Планировать стоит на 2-3 года с ежегодным пересмотром, фокусироваться на критичных процессах и восстановлении, а ответственность распределять между ИБ, ИТ и бизнесом.

RSS: Новости на портале Anti-Malware.ru