Запуск LLM GLM-5.2 на домашнем железе с Colibri
Н@GreenNeuralRobotsAI-инженер
1 месОбзор инструмента Colibri для запуска огромных LLM, таких как GLM-5.2, на обычном домашнем оборудовании с минимальными требованиями к RAM.
Colibri
Экзотика. Еще один способ запускать огромную LLM на домашнем железе.
В данном случае GLM-5.2 (744B параметров) на 25 ГБ RAM. Работает на чистом C без внешних зависимостей, эксперты загружаются с диска по мере необходимости.
Модель занимает 370 ГБ на диске, но в памяти держит только 9.9 ГБ (плотная часть в int4). Производительность зависит от скорости диска, на среднем железе около 0.1 токена в секунду. Есть веб-интерфейс и десктопный клиент.
Гитхаб
HF
#tools #llm #int8 #optimization
Кратко (AI)
Инструмент Colibri позволяет запускать массивные языковые модели, такие как GLM-5.2, на потребительском железе. Система использует C-реализацию и подгрузку экспертов с диска, что позволяет работать с моделью объемом 370 ГБ, используя менее 10 ГБ оперативной памяти.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖