Rubytech запустила российскую LLM на китайских GPU без NVIDIA

Rubytech запустила российскую LLM на китайских GPU без NVIDIA

Rubytech запустила российскую LLM на китайских GPU без NVIDIA

Группа Rubytech протестировала российскую языковую модель Cotype 3 от MWS AI на китайских графических ускорителях. Испытания проводились на программно-аппаратном комплексе «Машина искусственного интеллекта» Скала^р. Результат: модель работала стабильно, а производительность в популярных сценариях инференса оказалась сопоставима с конфигурациями на NVIDIA H100.

В тестовой системе использовались восемь китайских GPU. При обработке контекста объёмом 27 тыс. токенов среднее время генерации первого токена составило около 8 секунд, а межтокенная задержка — от 111 мс. По оценке Rubytech, этого достаточно для корпоративных ИИ-сервисов.

Но железо само себя не настроит. Инженеры адаптировали драйверы, программное окружение и средства оркестрации. В отдельных сценариях оптимизация позволила ускорить работу в 2-2,2 раза по сравнению со штатной средой китайских GPU. Контейнерная архитектура должна упростить развёртывание моделей и переход от тестов к промышленной эксплуатации.

Главный вывод испытаний — корпоративную ИИ-инфраструктуру можно строить без обязательной привязки к ускорителям NVIDIA. Особенно это актуально для госсектора, компаний с государственным участием и организаций КИИ, которым нужны локальное размещение моделей, контролируемая инфраструктура и возможность масштабироваться без лотереи с поставками H100.

Rubytech также заявляет, что китайские GPU в отдельных сценариях способны снизить совокупную стоимость владения. Правда, революцию пока придержали: речь идёт не о полном отказе от NVIDIA, а о появлении ещё одного рабочего варианта.

Дальше компания планирует испытать новое поколение китайских ускорителей и расширить список российских моделей и корпоративных ИИ-сервисов.

Подпишитесь на новости

Security Vision представила портал самооценки ИБ для холдингов

У одной «дочки» требования выполнены, у другой — замечания годами гуляют по почте, у третьей отчет живет в отдельной таблице. Security Vision представила Self-Assessment — портал, который собирает самооценку информационной безопасности всей группы компаний в одном месте и помогает контролировать устранение проблем.

Как заявляет разработчик, Security Vision SA охватывает весь цикл: от подготовки требований и рассылки опросных листов до расчета результатов и контроля корректирующих мероприятий. Головная организация получает сводную картину по дочерним структурам и отдельным системам.

Требования можно загружать, объединять в шаблоны, распределять по направлениям и хранить с учетом версий. Оценки запускаются по расписанию либо под конкретную задачу, а вопросы назначаются ответственным специалистам.

Ответы и обоснования проходят валидацию. Затем система рассчитывает результат по выбранной методике, включая собственную методологию организации. Если выполнение требования можно определить по метрикам, после настройки критериев поддерживается автоматическое заполнение ответа.

Дальше начинается самое полезное: невыполненные требования превращаются в план действий с ответственными, сроками и статусами. Руководство видит, какие компании исправляют замечания, а где работа зависла. Отчет «проблемы выявлены» получает продолжение — кто и когда их устранит.

Для анализа предусмотрены отчеты и интерактивные дашборды с детализацией до конкретной организации или системы. Также портал позволяет вести реестр внутренних нормативных документов, сохранять их версии и уведомлять сотрудников об ознакомлении.

По замыслу компании, единая методология должна сократить ручное сведение данных и помочь распределять ресурсы по приоритетам. Первую демонстрацию SA Security Vision проведет 27-28 октября на SOC Forum.

RSS: Новости на портале Anti-Malware.ru