Энтузиасты обошли ограничения GeForce и удвоили скорость

Часть возможностей GeForce оказалась доступна после программной разблокировки. Авторы GPU Unlock и его версии для архитектуры Ada показали, как увеличить скорость отдельных матричных вычислений на потребительских видеокартах Nvidia. На RTX 4090 в синтетических тестах результат вырос примерно вдвое.

Разработчики опубликовали код и замеры в репозиториях GPU Unlock и GPU Unlock Ada.

Инструмент запускается до штатного драйвера Nvidia и меняет настройки, ограничивающие скорость определённых тензорных операций. Основная мишень — вычисления FP16 и BF16 с накоплением результата в FP32, которые используются в задачах машинного обучения.

В независимом тесте RTX 4090 при одинаковом лимите мощности скорость таких инструкций действительно удвоилась. А вот в вычислениях через библиотеку cuBLAS прибавка оказалась скромнее: около 12-34% для FP16 и 16-20% для BF16 в отдельных конфигурациях. Один из вариантов нагрузки вообще не ускорился.

Разблокировка не добавляет видеопамять и не увеличивает её пропускную способность. Поэтому задачи, упирающиеся в память, могут почти ничего не выиграть. Поддержка зависит от модели карты, а основной вариант инструмента рассчитан на Linux.

Для любителей локального ИИ эти эксперименты могут быть полезны.