Моддеры разблокировали FP16 и BF16 на GeForce RTX 20, 30 и 40
P@prohitecавтор про «tech»
вчераМоддеры сняли ограничения FP16 и BF16 на GeForce RTX 20, 30 и 40: на RTX 3090 Ti ComfyUI ускорился на 56–59%.
Некоторые потребительские видеокарты NVIDIA могут быстрее выполнять отдельные задачи локального ИИ без перепрошивки VBIOS.
- Для ряда задач FP16 и BF16 заявлен заметный прирост скорости.
- Изменения сбрасываются при потере питания.
- Генерация токенов почти не ускорилась, а игры и DLSS не получили прироста.
Моддеры разблокировали скрытую производительность ИИ на видеокартах NVIDIA RTX 20, 30 и 40 серий
Энтузиасты обошли искусственные ограничения FP16 и BF16 на потребительских GeForce, которые используют те же кристаллы, что и профессиональные карты, но урезаны по скорости выдачи инструкций. Инструменты меняют низкоуровневые регистры GPU до загрузки драйвера NVIDIA. Актуальный метод не требует перепрошивки VBIOS; изменения сбрасываются при потере питания.
На RTX 4090 пропускная способность FP16 выросла с 165,6 до 331,6 TFLOPS — уровень RTX 6000 Ada, на RTX 3090 Ti BF16 поднялся с 87,5 до 157,4 TFLOPS, на RTX 2080 Ti — с 59,9 до 111 TFLOPS. В реальных задачах прирост скромнее, но все равно впечатляет: ComfyUI на RTX 3090 Ti ускорился на 56–59% в BF16-моделях, обработка промптов локальных LLM — на 14–36%. Генерация токенов почти не изменилась из-за упора в пропускную способность памяти. Игровая производительность и DLSS модами не улучшаются.
Народ, кто пользуется уже, просьба, отпишитесь в комментариях.
Кратко (AI)
Моддеры нашли способ обойти ограничения FP16 и BF16 на потребительских видеокартах NVIDIA RTX 20, 30 и 40 серий, меняя низкоуровневые регистры до загрузки драйвера. В отдельных тестах выросла скорость вычислений и обработки задач в ComfyUI и локальных LLM, но генерация токенов, игры и DLSS заметно не ускорились.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖