LLM запущена на микроконтроллере ESP32-S3
3@ru3dnewsавтор про «tech»
3 недЭнтузиаст запустил небольшую языковую модель на микроконтроллере ESP32-S3 стоимостью $10, достигнув скорости 10 токенов в секунду.
Это доказывает, что современные ИИ-модели становятся достаточно компактными для работы на самом дешевом и простом оборудовании.
- Снижение порога входа для запуска локальных ИИ-решений.
- Возможность внедрения базового ИИ в бытовую электронику и IoT-устройства.
- Демонстрация прогресса в оптимизации нейросетей для работы на ограниченных вычислительных ресурсах.
ИИ-модели могут работать на чём угодно: энтузиаст запустил LLM на микроконтроллере за $10
Небольшую языковую модель запустили локально на микроконтроллере ESP32-S3 стоимостью около $10. Энтузиаст под ником SlvDev добился скорости почти 10 токенов в секунду. Раньше такие модели запускали в основном на ноутбуках и смартфонах, а теперь — даже на компактных микроконтроллерах.
#микроконтроллер #ии #модель
📎Подробнее
🔖 3DNews в TG | MAX | VK
Кратко (AI)
Энтузиаст под ником SlvDev успешно запустил небольшую языковую модель на микроконтроллере ESP32-S3. Устройство стоимостью около 10 долларов показало производительность на уровне 10 токенов в секунду.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖