HardenedVault выпустила SonicBoom — среду исполнения для локального запуска языковых моделей на потребительских процессорах и видеокартах. Движок написан на C++ и CUDA, не требует Python ни для работы, ни для сборки и предоставляет локальный сервер с API OpenAI.

В первых тестах на RTX 3050 SonicBoom быстрее llama.cpp на двух моделях при коротком контексте, но преимущество почти исчезает на глубине 512 токенов. Сторонний замер на RTX 4060 Ti показал результат ниже llama.cpp; сборка не была настроена под эту видеокарту.

• Модели загружаются в формате GGUFi; библиотека libsonicboom.so подключается из разных языков через стандартный интерфейс C. Авторы выбрали для работы с ней GNU Guile — реализацию Scheme.
• Планировщик переписывает граф модели, объединяет соседние операции и упаковывает шаг генерации токена в один CUDA Graphi — последовательность команд для видеокарты.
• Компилятор на базе MLIRi генерирует часть GPU-ядер, включая ядра для механизма внимания, и при первом запуске подбирает вариант под конкретную видеокарту; операции с квантованными матрицами и токенизаторы частично перенесены из llama.cpp.
• При повторном запросе с тем же префиксом движок обрабатывает только добавленную часть; результат совпадает с полным пересчётом до токена.
• На RTX 3050 источники приводят немного разные результаты: Gemma 4 E4B — 53 или 53,6 токена в секунду против 44,8 у llama.cpp; Qwen2.5-0.5B — 344,7 или 345,9 против 307,6 или 306,9.
• Для стороннего теста на RTX 4060 Ti указаны одинаковые значения в обоих источниках: 73,6 токена в секунду у SonicBoom против 78 у llama.cpp.
• В одном источнике говорится, что проверены только Gemma 4 E4B-it и Qwen2.5-0.5B-Instruct; данные о других моделях и видеокартах в предоставленном тексте обрываются.