mikrokontrolleryСбросить фильтр ×

LLM на 28 млн параметров запущена на ESP32-S3

C@campcodeAI-инженер
4 нед
LLM на 28 млн параметров запустили на микроконтроллере за $8 😨 Энтузиаст смог запустить языковую модель локально на ESP32-S3. При этом устройство генерирует текст со скоростью около 9,5 токена в секунду и выводит результат на маленький экран. Секрет в архитектурном трюке: 25 млн параметров хранятся во флеш-памяти, а в оперативной памяти остается только «мыслящее ядро» модели. GitHub проекта здесь. Ждем, когда LLM запустят на тостере 😁
LLM на 28 млн параметров запущена на ESP32-S3

Запуск языковой модели на микроконтроллере ESP32-S3

N@NeuralShitAI-инженер
1 мес
Смотрите, какой-то умелец запустил языковую модель на ардуиноподобной плате за восемь баксов (ESP32-S3) Внутрь удалось утрамбовать модельку на 28,9 миллиона параметров. Она занимает около 15 мегабайт памяти, работает офлайн и генерит текст со скоростью примерно 10 токенов в секунду. Яснопонятно, что это не карманный ChatGPT. Модель обучена на датасете TinyStories и умеет в основном сочинять простенькие и небольшие рассказы. Вопросы, программирование и захват человечества пока не завезли. Но сам факт всё равно годный: теперь даже на железе за цену шавухи можно генерировать связный текст. тут исходники и вся инфа

Самодельный дубликатор ключей 1-Wire на AVR

Х@habr_comмедиа / агрегатор
1 мес

OS DAY 2026: фокус на встраиваемые системы и ИТ-суверенитет

3@ru3dnewsавтор про «tech»
1 мес

Это всё на сейчас.