Энтузиасты обошли ограничения GeForce и удвоили скорость

Энтузиасты обошли ограничения GeForce и удвоили скорость

Энтузиасты обошли ограничения GeForce и удвоили скорость

Часть возможностей GeForce оказалась доступна после программной разблокировки. Авторы GPU Unlock и его версии для архитектуры Ada показали, как увеличить скорость отдельных матричных вычислений на потребительских видеокартах Nvidia. На RTX 4090 в синтетических тестах результат вырос примерно вдвое.

Разработчики опубликовали код и замеры в репозиториях GPU Unlock и GPU Unlock Ada.

Инструмент запускается до штатного драйвера Nvidia и меняет настройки, ограничивающие скорость определённых тензорных операций. Основная мишень — вычисления FP16 и BF16 с накоплением результата в FP32, которые используются в задачах машинного обучения.

В независимом тесте RTX 4090 при одинаковом лимите мощности скорость таких инструкций действительно удвоилась. А вот в вычислениях через библиотеку cuBLAS прибавка оказалась скромнее: около 12-34% для FP16 и 16-20% для BF16 в отдельных конфигурациях. Один из вариантов нагрузки вообще не ускорился.

Разблокировка не добавляет видеопамять и не увеличивает её пропускную способность. Поэтому задачи, упирающиеся в память, могут почти ничего не выиграть. Поддержка зависит от модели карты, а основной вариант инструмента рассчитан на Linux.

Для любителей локального ИИ эти эксперименты могут быть полезны.

Подпишитесь на новости

Сколько на самом деле стоят Claude и GPT российскому бизнесу

Подключить нейросеть оказалось проще, чем разобраться, сколько она на самом деле стоит компании. К цене токенов добавляются комиссии, курс посредника и налоги, а оплачиваемые рассуждения модели могут заметно раздуть расход. Короткий ответ ИИ ещё не означает короткий счёт.

Основатель сервиса Heli Виталий Нагай разобрал расходы и организационные риски доступа к зарубежным моделям для российских компаний. Автор сам работает на этом рынке и прямо обозначает свою заинтересованность.

В приведённом им примере отдел поддержки отправляет 20 тысяч запросов в месяц. Если учитывать только видимый ответ, получается $240. Если добавить токены рассуждений — уже $480. Дальше итог меняют условия оплаты и посредника.

Для сравнения поставщиков автор предлагает считать фактически заложенный курс: разделить рублёвое списание за запрос на его стоимость по долларовому прайсу разработчика модели. Внутренние кредиты и красивые тарифные таблицы при таком подходе перестают скрывать переплату.

Отдельная проблема — контроль. Личная подписка сотрудника оставляет компании вопросы о документах, рабочих данных и доступе к истории. Российский посредник может упростить расчёты, но сам по себе не отменяет ограничений зарубежного провайдера.

Перед закупкой автор советует проверять детализацию списаний, документы, условия хранения данных и возврата остатка. И выдавать отдельные ключи с лимитами: зацикленный скрипт тоже умеет осваивать бюджет.

RSS: Новости на портале Anti-Malware.ru