LLM на 28 млн параметров запущена на ESP32-S3
C@campcodeAI-инженер
4 недLLM на 28 млн параметров запустили на микроконтроллере за $8 😨
Энтузиаст смог запустить языковую модель локально на ESP32-S3. При этом устройство генерирует текст со скоростью около 9,5 токена в секунду и выводит результат на маленький экран.
Секрет в архитектурном трюке: 25 млн параметров хранятся во флеш-памяти, а в оперативной памяти остается только «мыслящее ядро» модели. GitHub проекта здесь.
Ждем, когда LLM запустят на тостере 😁
