Появилась тулза Colibrii, которая позволяет запускать модель GLM-5.2i с 744 миллиардами параметров на обычном домашнем компьютере — без GPU и всего с 21–25 ГБ оперативной памяти. Секрет в том, что модель (370 ГБ на диске) не грузится в RAM целиком: нужные блоки-«эксперты» подгружаются с SSD по мере необходимости и затем освобождаются.

Это не про скорость, а про сам факт возможности — гонять LLM топового масштаба «на картошке». Расплата за это — крайне низкая производительность, единицы или доли токена в секунду.

• Colibri написан на чистом C, около 2400 строк кода, работает без Python, сторонних библиотек и видеокарты (по данным Not Boring Tech)
• Модель занимает 370 ГБ на диске (fp4/int4i-квантование), но в памяти держит лишь плотную часть — по данным Нейронавт, это 9.9 ГБ
• По данным Not Boring Tech и Нейронавт, требуется около 25 ГБ RAM, скорость на среднем железе — примерно 0,1 токена/сек; по данным Derp Learning, у них модель заняла 21 ГБ RAM и выдавала около 2 ток/сек
• После установки инструмент запускается за 30 секунд (по данным Not Boring Tech)
• У Colibri есть веб-интерфейс и десктопный клиент (по данным Нейронавт)
• Исходники и модель доступны на GitHub и HuggingFace (упомянуто во всех трёх источниках)