Rubytech запустила российскую LLM на китайских GPU без NVIDIA

Rubytech запустила российскую LLM на китайских GPU без NVIDIA

Rubytech запустила российскую LLM на китайских GPU без NVIDIA

Группа Rubytech протестировала российскую языковую модель Cotype 3 от MWS AI на китайских графических ускорителях. Испытания проводились на программно-аппаратном комплексе «Машина искусственного интеллекта» Скала^р. Результат: модель работала стабильно, а производительность в популярных сценариях инференса оказалась сопоставима с конфигурациями на NVIDIA H100.

В тестовой системе использовались восемь китайских GPU. При обработке контекста объёмом 27 тыс. токенов среднее время генерации первого токена составило около 8 секунд, а межтокенная задержка — от 111 мс. По оценке Rubytech, этого достаточно для корпоративных ИИ-сервисов.

Но железо само себя не настроит. Инженеры адаптировали драйверы, программное окружение и средства оркестрации. В отдельных сценариях оптимизация позволила ускорить работу в 2-2,2 раза по сравнению со штатной средой китайских GPU. Контейнерная архитектура должна упростить развёртывание моделей и переход от тестов к промышленной эксплуатации.

Главный вывод испытаний — корпоративную ИИ-инфраструктуру можно строить без обязательной привязки к ускорителям NVIDIA. Особенно это актуально для госсектора, компаний с государственным участием и организаций КИИ, которым нужны локальное размещение моделей, контролируемая инфраструктура и возможность масштабироваться без лотереи с поставками H100.

Rubytech также заявляет, что китайские GPU в отдельных сценариях способны снизить совокупную стоимость владения. Правда, революцию пока придержали: речь идёт не о полном отказе от NVIDIA, а о появлении ещё одного рабочего варианта.

Дальше компания планирует испытать новое поколение китайских ускорителей и расширить список российских моделей и корпоративных ИИ-сервисов.

Подпишитесь на новости

Яндекс Станцию взломали без вскрытия, корпорация уже выпускает патч

Энтузиасты нашли способ получить root-доступ к собственной «Яндекс Станции» через ошибку в системе доверенных сертификатов. Разбирать колонку для этого не понадобилось. Алису попросили включить музыку, а владельцы заодно решили разобраться, кто здесь администратор.

Яндекс подтвердил уязвимость в комментарии «Код.ру». Техногигант уже распространяет обновление, которое должно закрыть найденный способ доступа.

Root — это права суперпользователя, позволяющие менять программное обеспечение устройства с гораздо меньшими ограничениями. Для любителей экспериментов такая находка открывает больше возможностей, чем стандартные настройки умной колонки.

При этом в Яндексе подчёркивают: описанный способ позволял получить контроль именно над собственной Станцией. По оценке компании, доступ к чужому устройству до обновления был почти невозможен, а после установки исправления исключён. Поэтому объявлять все колонки готовыми устройствами для удалённой прослушки оснований нет.

Представители Яндекса также отметили, что владельцы и раньше могли экспериментировать со своими устройствами — разобрать колонку и установить собственную прошивку. Новая находка позволила обойтись без вскрытия корпуса.

Отдельно компания работает над сценарием со сбросом до заводских настроек. Его подробности в публикации не раскрыты, поэтому считать этот вопрос окончательно закрытым пока рано.

RSS: Новости на портале Anti-Malware.ru