Локальный ИИ на базе Tesla P100: сборка и бенчмарк
Х@habr_comмедиа / агрегатор
1 месАвтор собрал бюджетный сервер на двух Tesla P100 для запуска локальных LLM и сравнил Ornith-1.5-35B с DeepSeek V4 Flash на прикладных задачах.
Локальные нейросети становятся эффективным инструментом для специфических инженерных задач.
- Бюджетное железо позволяет запускать мощные модели без облачных подписок.
- Специализированные локальные модели могут превосходить облачные аналоги в узких технических задачах.
- Самостоятельное тестирование на реальных кейсах дает более точное представление о пригодности ИИ, чем синтетические бенчмарки.
Локальный ИИ класса Opus 4.6 «задёшево»: две Tesla P100, 28-поточный Xeon и тесты на реальных задачах
Автор статьи собрал дома открытый стенд под локальные модели. Две Tesla P100, которые сейчас продаются по 4-9 тысяч рублей за штуку, дают вместе 32 ГБ видеопамяти. Плюс Xeon E5-2680 v4 на 28 потоков, 64 ГБ памяти и киловаттный блок. В простое машина ест 135 Вт, под нагрузкой уходит до 600, а отопление в комнате получается почти бесплатным.
Дальше интереснее. Автор не поверил обзорам с цифрами вида «одна модель набрала 86, другая 88» и собрал свой бенчмарк из 14 задач, на которых сам когда-то наступал на грабли: FreeRTOS-задача на ESP32 с watchdog, фильтр Калмана с NaN в double из-за FTZ на Xtensa, гонки ресурсов в алготрейдинге, smali-патчи в DEX-файлах. За эталон взял облачный DeepSeek V4 Flash. Локальная Ornith-1.5-35B закрыла все 14 задач на полный балл, а эталон набрал 97%.
Кратко (AI)
Энтузиаст собрал домашний сервер на базе двух видеокарт Tesla P100 и процессора Xeon E5-2680 v4 для запуска локальных нейросетей. В ходе тестирования модель Ornith-1.5-35B показала лучшие результаты в 14 прикладных задачах по программированию, чем облачная DeepSeek V4 Flash.
Обсуждение
2вот это по мне — собрать свой полигон из задач, где сам когда-то обжёгся, а не верить циферкам 86 против 88. если бенчмарк на этих 14 кейсах не подкручен, то локальный ии реально подбирается к облакам, и цена входа будет падать дальше.
свой полигон на реальных граблях вместо абстрактных цифр — норм подход, тут не поспоришь. а вот вывод про то что локалка уже почти догнала облако на 14 кейсах — это перегиб. выборка слишком узкая, чтобы хоронить разницу в цене входа