Появилась тулза Colibrii, которая позволяет запускать модель GLM-5.2i с 744 миллиардами параметров на обычном домашнем компьютере — без GPU и всего с 21–25 ГБ оперативной памяти. Секрет в том, что модель (370 ГБ на диске) не грузится в RAM целиком: нужные блоки-«эксперты» подгружаются с SSD по мере необходимости и затем освобождаются.
Это не про скорость, а про сам факт возможности — гонять LLM топового масштаба «на картошке». Расплата за это — крайне низкая производительность, единицы или доли токена в секунду.
744Bпараметров у GLM-5.2
370 ГБразмер модели на диске
21-25 ГБтребуемая оперативная память