Запуск локальных LLM на PlayStation 5
D@data_secretsAI-инженер
1 недЭнтузиаст портировал llama.cpp на PlayStation 5, что позволяет запускать локальные модели, такие как Qwen 3.8 27b, прямо на консоли.
Демонстрация возможности запуска нейросетей на игровых консолях.
- Показывает гибкость архитектуры PlayStation 5 для задач, отличных от игр.
- Подтверждает возможность использования консолей как альтернативного железа для локального запуска LLM.
- Порт llama.cpp открывает доступ к запуску широкого спектра моделей в формате GGUF на данном устройстве.
В X вирусится проект, с помощью которого можно запустить локальную модель на PS5
https://github.com/cobanov/PS5LM
Пока не на микроволновке, конечно, но тоже неплохо. Автор показывает, что ему удалось запустить целую Qwen 3.8 27b. Работает медленно (примерно 20 токенов в секунду), но работает!
Аналогично можно запустить любой небольшой GGUF, потому что это не ядро под конкретную модель, а буквально порт llama.cpp на PlayStation 5. Общаться с запущенной моделькой потом можно через любой веб-интерфейс по порту, или вообще с телевизора.
Это вам идея на случай, если память еще подорожает
Кратко (AI)
Разработчик под ником cobanov портировал библиотеку llama.cpp на консоль PlayStation 5. Это позволяет запускать локальные языковые модели, такие как Qwen 3.8 27b, с производительностью около 20 токенов в секунду.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖