Rubytech запустила российскую LLM на китайских GPU без NVIDIA

Rubytech запустила российскую LLM на китайских GPU без NVIDIA

Rubytech запустила российскую LLM на китайских GPU без NVIDIA

Группа Rubytech протестировала российскую языковую модель Cotype 3 от MWS AI на китайских графических ускорителях. Испытания проводились на программно-аппаратном комплексе «Машина искусственного интеллекта» Скала^р. Результат: модель работала стабильно, а производительность в популярных сценариях инференса оказалась сопоставима с конфигурациями на NVIDIA H100.

В тестовой системе использовались восемь китайских GPU. При обработке контекста объёмом 27 тыс. токенов среднее время генерации первого токена составило около 8 секунд, а межтокенная задержка — от 111 мс. По оценке Rubytech, этого достаточно для корпоративных ИИ-сервисов.

Но железо само себя не настроит. Инженеры адаптировали драйверы, программное окружение и средства оркестрации. В отдельных сценариях оптимизация позволила ускорить работу в 2-2,2 раза по сравнению со штатной средой китайских GPU. Контейнерная архитектура должна упростить развёртывание моделей и переход от тестов к промышленной эксплуатации.

Главный вывод испытаний — корпоративную ИИ-инфраструктуру можно строить без обязательной привязки к ускорителям NVIDIA. Особенно это актуально для госсектора, компаний с государственным участием и организаций КИИ, которым нужны локальное размещение моделей, контролируемая инфраструктура и возможность масштабироваться без лотереи с поставками H100.

Rubytech также заявляет, что китайские GPU в отдельных сценариях способны снизить совокупную стоимость владения. Правда, революцию пока придержали: речь идёт не о полном отказе от NVIDIA, а о появлении ещё одного рабочего варианта.

Дальше компания планирует испытать новое поколение китайских ускорителей и расширить список российских моделей и корпоративных ИИ-сервисов.

Подпишитесь на новости

Регистрация на SOC Forum 2026: в центре программы – ИИ и кибербезопасность

ИИ обещает экономить деньги, ускорять работу и помогать защитникам. А потом получает доступ к корпоративным данным — и вопросов становится ещё больше. На SOC Forum 2026 разберут, как извлечь из технологии пользу, контролировать её действия и отвечать за ошибки. Форум пройдёт 27-28 октября в московском кластере «Ломоносов».

Регистрация на SOC Forum уже открыта. Это центральное мероприятие Российской недели кибербезопасности, организатором которой выступает ГК «Солар». Компания также является соорганизатором форума.

Первый день посвятят бизнесу и регулированию. В фокусе — экономический эффект внедрения ИИ, контроль над данными и решениями, ответственность за ошибки и новые риски. Разговор о том, сколько пользы приносит технология, обещает быть интереснее очередной презентации с нейросетевыми картинками.

27 октября запланированы треки «AI & Cybersecurity», «ИБ и бизнес», «Тренды и аналитика угроз» и «Многогранный кибербез».

На второй день программа переключится на техническую практику: обнаружение и расследование атак, развитие защитной инфраструктуры, применение ИИ атакующими и защитниками. Для этого предусмотрены треки «Offence», «Defence», «Архитектура ИТ и ИБ» и «SOC-практикум».

Анонс программы опубликован на сайте форума и будет дополняться. Можно заранее выбрать, где разбираться с бизнес-эффектом, а где — с тем, что делать, когда ИИ уже оказался по другую сторону защиты.

RSS: Новости на портале Anti-Malware.ru