Яндекс разработал с нуля языковую модель Alice AI Foundation LLM и открыл её веса для самостоятельного запуска и дообучения. Компания называет разработку полностью суверенной и планирует сделать её основой будущей рассуждающей модели и ИИ-агентов «Алисы».
Как сообщают «Ведомости», Alice AI Foundation содержит 80 млрд параметров и обучена на 18 трлн токенов.
При обработке каждого токена активируются только 3 млрд параметров, модель использует архитектуру Mixture of Experts и подключает нужную часть экспертов, а не будит весь 80-миллиардный коллектив одновременно.
Такой подход должен снизить вычислительные затраты при запуске, не отказываясь от ёмкости крупной модели. Контекстное окно достигает 262 144 токенов.
При этом речь идёт о базовой модели после предобучения, а не о готовом чат-боте: чтобы получить разговорного ассистента или специализированный корпоративный инструмент, её ещё предстоит дообучить.
Веса опубликованы на Hugging Face под лицензией Apache 2.0. Разработчики могут запускать модель на собственной инфраструктуре, адаптировать её под свои задачи и использовать результат в исследовательских и коммерческих проектах.
Яндекс подчёркивает, что самостоятельно подготовил обучающий корпус, выбрал архитектуру и гиперпараметры, не опираясь на готовые иностранные модели.
Однако слово суверенная пока остаётся заявленной характеристикой: официальный порядок присвоения такого статуса в России должен заработать только с марта 2027 года.
