Инструмент Colibri для запуска GLM-5.2 на домашних ПК
N@notboring_techAI-инженер
1 месОбзор утилиты Colibri, позволяющей запускать LLM GLM-5.2 на 744 млрд параметров на обычном ПК с 25 ГБ ОЗУ без использования GPU.
🦋 Какой-то гений выпустил тулзу Colibri, которая запускает гигантскую GLM-5.2 на 744 миллиарда (!) параметров на домашнем ПК — требуется всего 25 ГБ оперативной памяти даже без видеокарты.
Как работает:
• Это один файл на чистом C на 2400 строк — во время работы ему не нужны Python, библиотеки и GPU.
• Трюк: модель занимает 370 ГБ на диске и подгружает только 10-20 ГБ данных в оперативную память по мере необходимости.
• Вместо хранения всей модели в RAM, тулза загружает нужные блоки с SSD, использует их и освобождает место.
• Ложка дёгтя в бочке мёда: на среднем железе скорость составляет 0,1 токена в секунду, но при быстром диске это можно ускорить.
• После установки запускается всего за 30 секунд.
Гоняем гигантскую LLM на картошке — тут.
@notboring_tech
Кратко (AI)
Выпущен инструмент Colibri, позволяющий запускать огромную языковую модель GLM-5.2 на 744 миллиарда параметров на обычном домашнем компьютере. Программа написана на языке C и использует метод подгрузки данных с SSD, что позволяет обойтись 25 ГБ оперативной памяти без необходимости использования видеокарты.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖