Запуск языковой модели на микроконтроллере ESP32-S3

Смотрите, какой-то умелец запустил языковую модель на ардуиноподобной плате за восемь баксов (ESP32-S3) Внутрь удалось утрамбовать модельку на 28,9 миллиона параметров. Она занимает около 15 мегабайт памяти, работает офлайн и генерит текст со скоростью примерно 10 токенов в секунду. Яснопонятно, что это не карманный ChatGPT. Модель обучена на датасете TinyStories и умеет в основном сочинять простенькие и небольшие рассказы. Вопросы, программирование и захват человечества пока не завезли. Но сам факт всё равно годный: теперь даже на железе за цену шавухи можно генерировать связный текст. тут исходники и вся инфа