LLM на 28 млн параметров запущена на ESP32-S3
C@campcodeAI-инженер
4 недЭнтузиаст запустил языковую модель на микроконтроллере ESP32-S3 стоимостью $8, достигнув скорости генерации 9,5 токена в секунду.
Это доказывает возможность работы ИИ на крайне дешевом и маломощном оборудовании.
- Показывает потенциал запуска ИИ-моделей на устройствах интернета вещей (IoT).
- Демонстрирует методы оптимизации памяти для работы LLM на ограниченных ресурсах.
- Снижает порог входа для локального использования ИИ без облачных вычислений.
LLM на 28 млн параметров запустили на микроконтроллере за $8 😨
Энтузиаст смог запустить языковую модель локально на ESP32-S3. При этом устройство генерирует текст со скоростью около 9,5 токена в секунду и выводит результат на маленький экран.
Секрет в архитектурном трюке: 25 млн параметров хранятся во флеш-памяти, а в оперативной памяти остается только «мыслящее ядро» модели. GitHub проекта здесь.
Ждем, когда LLM запустят на тостере 😁
Кратко (AI)
Энтузиаст успешно запустил языковую модель с 28 млн параметров на микроконтроллере ESP32-S3 стоимостью 8 долларов. Модель работает со скоростью 9,5 токена в секунду благодаря оптимизации хранения параметров во флеш-памяти.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖