HardenedVault выпустила SonicBoom — среду исполнения для локального запуска языковых моделей на потребительских процессорах и видеокартах. Движок написан на C++ и CUDA, не требует Python ни для работы, ни для сборки и предоставляет локальный сервер с API OpenAI.
В первых тестах на RTX 3050 SonicBoom быстрее llama.cpp на двух моделях при коротком контексте, но преимущество почти исчезает на глубине 512 токенов. Сторонний замер на RTX 4060 Ti показал результат ниже llama.cpp; сборка не была настроена под эту видеокарту.
RTX 3050видеокарта для тестов
512 токеновглубина контекста
RTX 4060 Tiсторонний тест