Экономическая целесообразность покупки видеокарты для локальных нейросетей
Г@gmorevaAI-инженер
1 месАвтор анализирует окупаемость видеокарты 4090 для запуска локальных нейросетей, сравнивая затраты на электричество и стоимость облачных API.
Окупаемость видеокарты для локальных нейросетей
Я покупал свою карту 4090 без каких-либо экономических расчетов и подсчетов. Просто решил провести этот эксперимент и попробовать на себе такую дорогую покупку для ИИ.
Видеокарта может выдавать в среднем 50 токенов в секунду для Qwen 3.6 27b q8_0. Если переводить в месяц и стоимость такой же модели на openrouter, то получается такая модель обходилась бы мне в 28к рублей (при работе модели 24/7).
Электричество на такую видеокарту в моем офисе сожжет 3500 рублей при тарифе 11.5р за квт-ч.
То есть, при работы 24/7 у меня экономится 24 тыс рублей в месяц. Окупаться 330 тыс рублей будет минимум пару лет. За эти пару лет видеокарта ощутимо износится, выйдут новые видеокарты и модели, что снизит ценность видеокарты кратно.
В конечном счете выходит, что покупка экономически идиотична и не целесообразна. Но я все равно планирую расширять парк видеокарт и раскрывать для себя мир локальных нейросетей дальше.
Есть внутреннее ощущение, что нужно дальше двигаться в эту сторону, но нет никакого нормально обоснование зачем тратить сотни тысяч рублей на видеокарту, когда подписки на облачные варианты стоят кратно дешевле.
В худшем случае я смогу поделиться с вами своими результатами и отговорить от идиотских покупок несколько тысяч своих подписчиков :)
Кратко (AI)
Автор делится личным опытом использования видеокарты 4090 для запуска локальных моделей, таких как Qwen 3.6. Расчеты показывают, что покупка оборудования экономически невыгодна по сравнению с облачными сервисами, однако автор планирует продолжать эксперименты с локальным железом.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖