Модуль gpu-unlock почти вдвое повышает скорость вычислений на RTX 3090

В опенсорсе нашли способ почти вдвое увеличить вычислительную мощность RTX 3090 Проект gpu-unlock за пару дней набрал уже более 5 тысяч звезд на GitHub: https://github.com/Zagitta/gpu-unlock. Разбираемся. У видеокарт GeForce 30-й серии (к ним относятся RTX 3080, 3090, 3090 Ti и тд) тензорные ядра умеют перемножать матрицы в FP16 и BF16 с накоплением результата в FP32. Именно через эту операцию обучают и запускают нейросети. Однако, поскольку это игровые GPU, Nvidia специально программно ограничила скорость этой операции на них вдвое. Классическая сегментация рынка, хочешь делать ML – плати за ML-видеокарту, а не за игровую. Ограничение сделано как делитель скорости выдачи инструкций, и его значение лежит в регистрах, в которые обычно писать нельзя. То есть обойти эту штуку напрямую невозможно. Но автор этой репы нашел, как это сломать. Автор взял технику, которую раньше придумали для разблокировки аналогичных ограничений майнинговых карт CMP 170HX, и оформил ее как модуль ядра Linux. Он срабатывает при загрузке, до старта драйвера NVIDIA, прописывает полную скорость и только потом отдает карту стоковому драйверу. Главное, что модуль работает именно до драйвера, поэтому не нужно патчить драйвер при каждом обновлении и/или перепрошивать BIOS. Цифры из репозитория для 3090 Ti (GEMM 8192, 450 Вт): BF16 87,5 → 157,4 TFLOPS FP16 87,5 → 118,4 TFLOPS TF32 42,6 → 82,6 TFLOPS На реальных задачах прирост немножко скромнее, но он есть. Префилл LLM ускоряется примерно на 14–36%. Результаты вычислений при этом побитово совпадают с прежними. Оригинальный репозиторий только для Linux, но уже есть сторонние порты для Windows, вот например. Инструкция по установке есть в репо. Повышаем пенсионный возраст своей 3090 😎