Запуск LLM на PlayStation 5 через проект PS5LM
F@FuturisAI-инженер
1 недЭнтузиаст запустил нейросети Qwen, Gemma и Llama на PlayStation 5, используя GPU консоли и 11,4 ГБ памяти через обновленный проект PS5LM.
Это демонстрирует возможность использования игровых консолей в качестве доступных вычислительных мощностей для локального запуска ИИ.
- Показывает эффективность использования GPU игровых приставок для задач инференса нейросетей.
- Позволяет запускать современные LLM локально без необходимости в дорогостоящем серверном оборудовании.
- Открывает возможности для энтузиастов использовать простаивающее игровое железо для экспериментов с ИИ.
Ваша ps5 пылится в углу? есть вариант чем её занять - чел запустил на PS5 Qwen 3.8 на 27 млрд параметров 🎮
Он доработал открытый проект PS5LM: теперь модели работают на графическом процессоре консоли, а общаться с ними можно через браузер на телефоне или ПК. Всё считается на самой приставке. По замерам автора, Qwen 3.8 на 27 млрд параметров выдаёт около 20 токенов в секунду, небольшая Gemma — 61, а Llama 3.2 3B — 124. Главная доработка: приложение получило доступ к GPU и примерно 11,4 ГБ памяти, поэтому смогло запустить гораздо более крупные модели. Есть интерфейс на телевизоре, скачивание моделей с Hugging Face и API для подключения других программ.
Описание и результаты💎
Код на GitHub💎
В отделе продаж Playstation сегодня открывают игристое 🥳
Кратко (AI)
Разработчик обновил проект PS5LM, позволив запускать большие языковые модели непосредственно на графическом процессоре PlayStation 5. Система использует 11,4 ГБ видеопамяти консоли, обеспечивая работу моделей Qwen, Gemma и Llama с приемлемой скоростью генерации токенов.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖