Engram от DeepSeek: как LLM научили вспоминать, а не пересчитывать

Engram от DeepSeek: как LLM научили вспоминать, а не пересчитывать

Engram от DeepSeek: как LLM научили вспоминать, а не пересчитывать

Команда DeepSeek представила новый модуль Engram, который добавляет в трансформеры то, чего им давно не хватало, — встроенную память для быстрого извлечения знаний. Идея проста, но эффектная: вместо того чтобы снова и снова пересчитывать одни и те же локальные паттерны, модель может мгновенно «вспоминать» их через O(1)-lookup и тратить вычисления на более сложные задачи — рассуждения и дальние зависимости.

Engram работает не вместо Mixture-of-Experts (MoE), а вместе с ним. Если MoE отвечает за условные вычисления, то Engram добавляет вторую ось масштабирования — условную память.

По сути, это современная версия классических N-грамм, переосмысленная как параметрическая память, которая хранит устойчивые шаблоны: частые фразы, сущности и другие «статичные» знания.

Технически Engram подключается напрямую к трансформерному бэкбону DeepSeek. Он построен на хешированных таблицах N-грамм с мультихед-хешированием, лёгкой свёрткой по контексту и контекстно-зависимым гейтингом, который решает, сколько памяти «подмешать» в каждую ветку вычислений. Всё это аккуратно встраивается в существующую архитектуру без её радикальной переделки.

 

На больших моделях DeepSeek пошла ещё дальше. В версиях Engram-27B и Engram-40B используется тот же трансформерный бэкбон, что и у MoE-27B, но часть параметров перераспределяется: меньше маршрутизируемых экспертов — больше памяти Engram. В результате Engram-27B получает около 5,7 млрд параметров памяти, а Engram-40B — уже 18,5 млрд, при этом число активируемых параметров и FLOPs остаётся тем же.

Результаты предобучения на 262 млрд токенов выглядят убедительно. При одинаковом числе активных параметров Engram-модели уверенно обходят MoE-базу: снижается задержка, растут показатели на задачах знаний и рассуждений. Например, MMLU увеличивается с 57,4 до 60,4, ARC Challenge — с 70,1 до 73,8, BBH — с 50,9 до 55,9. Улучшения есть и в коде, и в математике — от HumanEval до GSM8K.

 

Отдельно исследователи посмотрели на длинный контекст. После расширения окна до 32 768 токенов с помощью YaRN Engram-27B либо сравнивается с MoE-27B, либо превосходит его  Причём иногда Engram достигает этого при меньших вычислительных затратах.

Механистический анализ тоже говорит в пользу памяти. Варианты с Engram формируют «готовые к предсказанию» представления уже на ранних слоях, а по CKA видно, что неглубокие слои Engram соответствуют гораздо более глубоким слоям MoE. Проще говоря, часть «глубины» модель получает бесплатно, выгружая рутину в память.

Авторы подытоживают: Engram и MoE не конкурируют, а дополняют друг друга. Условные вычисления хорошо справляются с динамикой и рассуждениями, а условная память — с повторяющимися знаниями. Вместе они дают более эффективное использование параметров и вычислений без ломки архитектуры.

Мошенники делают россиян администраторами опасных каналов ради шантажа

Злоумышленники начали использовать новую тактику при групповых атаках. Они наделяют случайных людей правами администраторов каналов с противоправным контентом, а затем с помощью шантажа пытаются выманить у них учётные данные или деньги.

О широком распространении таких схем сообщают «Известия» со ссылкой на свои источники.

Злоумышленники назначают случайных пользователей администраторами различных групп и каналов, где распространяется контент, нарушающий российское законодательство. Обычно, как рассказал источник издания в правоохранительных органах, жертвами становятся дети, подростки и молодые люди.

Как рассказал собеседник издания, который сам столкнулся с попыткой такой атаки, уведомление обычно выглядит примерно так: «Предыдущий владелец канала (...) передал вам права на него. Теперь вы новый владелец этого канала и отвечаете за содержание публикаций в нём».

В описанном случае речь шла о канале с относительно небольшим числом подписчиков. В нём публиковались новости, в том числе на криминальные и военные темы, причём часть материалов нарушала законодательство.

«Существенное количество обращений связано с обманом или попытками обмана в реальных домовых чатах либо в чатах, которые злоумышленники создают под видом сообществ жильцов — районных, домовых, подъездных, — рассказал источник в правоохранительных органах. — Ещё одна популярная в последние месяцы уловка — создание чатов от имени „Минчистоты“, снабжающих компаний, энергетиков. Людей без их согласия добавляют в такие сообщества, и уже это должно насторожить пользователя. Цель одна — выведать чувствительную информацию, перевести общение в личные чаты и усыпить бдительность собеседников».

Как отметили в пресс-службе Министерства энергетики Московской области, заметна высокая активность таких злоумышленников от имени энергосбытовых организаций: «В рассылке аферисты обещают некий „перерасчёт“ или „скидки на оплату жилищно-коммунальных услуг“. Цель мошенников — выманить код подтверждения, который приходит в СМС. Получив его, злоумышленники получают доступ к личному кабинету на портале „Госуслуги“».

Как отмечает издание, злоумышленники активно действуют и в чатах другой тематики, включая туристические и игровые сообщества. В туристических чатах они предлагают туры и экскурсии по заниженным ценам с возможностью оплаты российскими картами. При этом вернуть такие платежи практически невозможно.

Атаки через игровые чаты выглядят ещё более изощрённо. Их целью может быть не только кража денег, вероятнее всего у родителей, но и вовлечение детей и подростков в противоправные действия.

После этого злоумышленники пытаются манипулировать или шантажировать таких «администраторов», угрожая им административной или даже уголовной ответственностью, в том числе по тяжёлым статьям. В итоге они добиваются доступа к учётным записям на портале «Госуслуги» и в других государственных сервисах. Дальше сценарии могут развиваться по-разному: от потери денег и оформления кредитов под давлением до вовлечения жертвы в уголовно наказуемые действия.

Как отметил независимый эксперт в сфере ИБ Константин Парфентьев, злоумышленники используют уже не только Telegram, как это было раньше, но и другие платформы. Кроме того, они стали тщательнее готовить атаки, собирая данные о потенциальных жертвах из открытых источников.

«Базовое правило нулевого доверия: входящие коды и личные данные — это цифровой эквивалент ключей от сейфа, — рекомендует Константин Парфентьев. — Передавать их нельзя ни под каким предлогом. Не вступайте в диалог с незнакомцами, которые добавили вас в группу. Любая реакция — это сигнал боту, что номер активен».

RSS: Новости на портале Anti-Malware.ru