Разработчик abhi245y доработал PS5LM и выпустил PS5LM Plus — приложение, которое запускает языковые модели на GPU взломанной PlayStation 5. Модель Qwen 3.8 на 27 млрд параметров генерирует примерно 20 токенов в секунду; обработка идёт локально на консоли.
Запуск стал возможен после перехода от CPU-пайлоада к отдельному приложению с Vulkan: оно использует графический процессор и больше памяти, чем прежняя версия. Запросы к консоли можно отправлять через браузер с телефона или компьютера в домашней сети.
27 млрдпараметров Qwen
6,8 ГБразмер квантованной модели
64 тыс. токеновконтекстное окно Qwen
- Основой служит проект PS5LM Мерта Кобанова — порт llama.cpp на PlayStation 5; доработка PS5LM Plus использует Vulkan-бэкенд и драйвер RADV.
- Для Qwen применили 2-битное квантованиеi: модель занимает 6,8 ГБ, профиль указан как IQ2_XXS.
- По данным PRO Hi-Tech, Qwen выдаёт 20,9 токена в секунду при потреблении консолью 86 Вт; Хабр приводит результат 20,7 токена в секунду, а другие источники округляют его до 20.
- В прежнем режиме CPU та же модель генерировала около одного токена в минуту и подгружала веса с накопителя.
- Более лёгкие модели показывают 61 токен/с для Gemma 4 E4B и 124 токена/с для Llama 3.2 3B.
- Приложение поддерживает модели в формате GGUFi с накопителей или Hugging Face, интерфейс на телевизоре и OpenAI-совместимый APIi для внешних клиентов, включая совместимые IDE.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖