nemotron-3.5-lightning - моя новая любимая локальная модель для запуска на Ryzen 9 AI HX370.
HardenedVault выпустила SonicBoom — среду исполнения для локального запуска языковых моделей на потребительских процессорах и видеокартах. Движок написан на C++ и CUDA, не требует Python ни для работы, ни для сборки и предоставляет локальный сервер с API OpenAI.
В первых тестах на RTX 3050 SonicBoom быстрее llama.cpp на двух моделях при коротком контексте, но преимущество почти исчезает на глубине 512 токенов. Сторонний замер на RTX 4060 Ti показал результат ниже llama.cpp; сборка не была настроена под эту видеокарту.
Разработчик abhi245y доработал PS5LM и выпустил PS5LM Plus — приложение, которое запускает языковые модели на GPU взломанной PlayStation 5. Модель Qwen 3.8 на 27 млрд параметров генерирует примерно 20 токенов в секунду; обработка идёт локально на консоли.
Запуск стал возможен после перехода от CPU-пайлоада к отдельному приложению с Vulkan: оно использует графический процессор и больше памяти, чем прежняя версия. Запросы к консоли можно отправлять через браузер с телефона или компьютера в домашней сети.
Perplexity совместно с NVIDIA представили ИИ-агента Portable Computeri, который выполняет большую часть работы прямо на устройстве пользователя, не отправляя данные в облако. Планировщик, маршрутизатор инструментов и локальный поиск работают на самом компьютере, а к облачным моделям агент обращается только когда задача требует большей мощности — и передаёт туда лишь необходимый текстовый фрагмент.
Агент доступен подписчикам Perplexity Pro и Max, но пока только на оборудовании NVIDIA DGX Sparki под Linux — поддержка обычных ПК с видеокартами RTX и Windows обещана позже.
