На взломанной PS5 запустили Qwen с 20,7 токена в секунду

Разработчик abhi245y запустил на взломанной PlayStation 5 языковую модель Qwen с 27 млрд параметров, которая выдаёт 20,7 токена в секунду. Раньше на CPU та же модель генерировала около одного токена в минуту и постоянно подгружала веса с накопителя. В новом приложении PS5LM Plus вычисления перешли на графический процессор через Vulkan. Чтобы Qwen поместилась в память, разработчик использовал 2-битное квантование, ужав модель до 6,8 ГБ при контекстном окне в 64 тыс. токенов. За основу взят проект PS5LM Мерта Кобанова, который ранее перенёс на консоль движок llama.cpp. Переписав его в виде отдельного приложения, разработчик получил доступ к 12 ГБ видеопамяти вместо 6 ГБ памяти, доступных прежнему фоновому модулю. Теперь PS5 может загружать модели в формате GGUF с накопителей или Hugging Face, а отправлять запросы можно со смартфона или компьютера в одной сети через веб-интерфейс. Консоль обрабатывает их полностью локально и поддерживает подключение внешних клиентов через OpenAI-совместимый API.