Автор ускорил Gemma-4-E4B на CMP90HX после анлока видеокарты
А@AGI_and_RLAI-инженер
2 днПосле анлока CMP90HX автор получил прирост префилла до 6 раз и декода до 2,5 раза на Gemma-4-E4B q2.
Старые майнинговые карты могут оказаться пригодны для недорогих систем запуска ИИ-моделей.
- Автор сообщает о заметном ускорении префилла и декода после анлока CMP90HX.
- Результат приводит его к идее собирать фермы инференса из подержанных майнинговых карт.
На волне хайпа анлока видеокарт раздуплил один из своих старых серваков с CMP90HX (была куплена за 7к).
По итогам, анлокнув через этот репо, побенчил на gemma-4-E4B q2.
Максимальный прирост префилла составил х6(!) а декода х2.5.
Как будто учитывая отчет deepseek`а о профитности инференса имеет смысл собирать из майнинговых карт распаянных до 20гб фермы (имея источник чуть ниже текущего прайса на авито офк)
КонтекстAI
В посте упомянут отчет deepseek`а о профитности инференса, но его содержание и дата не указаны. Автор использует его как повод оценить возможность собирать фермы из майнинговых видеокарт.
Кратко (AI)
Автор разблокировал старую CMP90HX с помощью репозитория и протестировал на ней Gemma-4-E4B q2. По его словам, максимальный прирост составил х6 для префилла и х2.5 для декода; он предполагает, что майнинговые карты с памятью до 20гб могут подойти для сборки ферм инференса.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖