На RTX 30 снимают ограничение скорости вычислений для нейросетей
К@d_codeмедиа / агрегатор
2 днЭнтузиасты снимают ограничение вычислений на GeForce RTX 30 с помощью модуля для Linux; в тесте RTX 3090 Ti показала прирост около 80%.
Некоторые старые видеокарты могут заметно быстрее обрабатывать запросы к языковым моделям без замены оборудования.
- В одном тесте RTX 3090 Ti прибавила около 80%.
- Ускоряется начальная обработка запросов, но не генерация токенов.
- Отдельное ответвление модуля проверяют на RTX 40.
💅 В старых GeForce нашли запас для нейросетей
Энтузиасты снимают ограничение скорости вычислений на RTX 30 с помощью модуля для Linux. В одном из тестов RTX 3090 Ti прибавила около 80%.
Результат зависит от задачи: начальная обработка запросов к языковым моделям ускоряется, а генерация токенов существенно не меняется. Отдельное ответвление уже проверяют на RTX 40.
↖️ https://kod.ru/gpu-unlock-nvidia-rtx-30
Кратко (AI)
Энтузиасты разработали модуль для Linux, который снимает ограничение скорости вычислений на видеокартах RTX 30. В одном тесте RTX 3090 Ti показала прирост около 80%, но эффект зависит от задачи: ускоряется начальная обработка запросов к языковым моделям, а генерация токенов почти не меняется.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖