Rubytech запустила российскую LLM на китайских GPU без NVIDIA

Rubytech запустила российскую LLM на китайских GPU без NVIDIA

Rubytech запустила российскую LLM на китайских GPU без NVIDIA

Группа Rubytech протестировала российскую языковую модель Cotype 3 от MWS AI на китайских графических ускорителях. Испытания проводились на программно-аппаратном комплексе «Машина искусственного интеллекта» Скала^р. Результат: модель работала стабильно, а производительность в популярных сценариях инференса оказалась сопоставима с конфигурациями на NVIDIA H100.

В тестовой системе использовались восемь китайских GPU. При обработке контекста объёмом 27 тыс. токенов среднее время генерации первого токена составило около 8 секунд, а межтокенная задержка — от 111 мс. По оценке Rubytech, этого достаточно для корпоративных ИИ-сервисов.

Но железо само себя не настроит. Инженеры адаптировали драйверы, программное окружение и средства оркестрации. В отдельных сценариях оптимизация позволила ускорить работу в 2-2,2 раза по сравнению со штатной средой китайских GPU. Контейнерная архитектура должна упростить развёртывание моделей и переход от тестов к промышленной эксплуатации.

Главный вывод испытаний — корпоративную ИИ-инфраструктуру можно строить без обязательной привязки к ускорителям NVIDIA. Особенно это актуально для госсектора, компаний с государственным участием и организаций КИИ, которым нужны локальное размещение моделей, контролируемая инфраструктура и возможность масштабироваться без лотереи с поставками H100.

Rubytech также заявляет, что китайские GPU в отдельных сценариях способны снизить совокупную стоимость владения. Правда, революцию пока придержали: речь идёт не о полном отказе от NVIDIA, а о появлении ещё одного рабочего варианта.

Дальше компания планирует испытать новое поколение китайских ускорителей и расширить список российских моделей и корпоративных ИИ-сервисов.

Подпишитесь на новости

Клиентов уходящих провайдеров предложили переводить к крупным операторам

Провайдер закрылся, а интернет должен остаться. Минцифры готовит механизм передачи абонентов другим операторам, если обслуживающая компания прекратит работу или лишится лицензии. Идея — избавить людей от внезапного отключения связи вместе с исчезновением поставщика.

О предложении сообщают  «Известия» со ссылкой на справочные материалы к проекту поправок в закон «О связи». Договоры клиентов планируют передавать крупным операторам, чтобы сохранить обслуживание.

Механизм обсуждается на фоне реформы лицензирования отрасли. Новые требования могут оказаться неподъёмными для части небольших провайдеров. По предлагаемой схеме другой оператор сможет временно принять управление инфраструктурой уходящей компании и обслуживание её клиентов.

Таким образом, предполагается передавать не просто список людей, которым теперь некому позвонить в поддержку, но и сеть, через которую они получают интернет.

Тем не мене сохранение доступа не стоит автоматически понимать как обещание навсегда оставить прежний тариф.

Для абонента главное, чтобы смена компании на квитанции не сопровождалась неделями без связи. Именно это предложенному механизму и предстоит обеспечить на практике.

RSS: Новости на портале Anti-Malware.ru