Запуск локальной модели Glm 5.2
D@derplearningAI-инженер
1 месПользователь делится опытом запуска локальной модели Glm 5.2 с использованием 21 ГБ оперативной памяти и 370 ГБ весов в формате fp4.
Mamma Mia, слопус у нас дома
Glm 5.2, 21gb ram, 370gb fp4, 2 tok\s 🫠
Ставим "sup glm" пэрендериться на ночь
Git
Кратко (AI)
Автор поста сообщает об успешном запуске локальной модели Glm 5.2. Указываются технические параметры системы: использование 21 ГБ оперативной памяти и 370 ГБ весов в формате fp4 при скорости генерации 2 токена в секунду.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖