Strata запускает Qwen3.8-Flash-Next на RTX 5070
M@machinelearning_interviewAI-инженер
1 недStrata позволяет запускать Qwen3.8-Flash-Next с 125 млрд параметров на ПК с RTX 5070; скорость зависит от квантизации, а требования начинаются от 32 ГБ RAM.
Проект делает запуск крупной языковой модели локально доступнее для владельцев обычных ПК.
- Разработчики заявляют о запуске модели на RTX 5070 с 12 ГБ видеопамяти.
- Скорость зависит от выбранной квантизации, которая влияет и на качество ответов.
- Локальный API позволяет подключать приложения и агентов.
🔥 Модель на 125 млрд параметров на игровой видеокарте с 12 ГБ памяти.
Strata позволяет запускать Qwen3.8-Flash-Next локально на обычном ПК.
По замерам разработчиков, RTX 5070 выдаёт:
• 94 токена/с с квантизацией Q2_0.
• 53 токена/с с IQ3_S.
Есть нюанс: тестировали на компьютере с 64 ГБ оперативной памяти. Минимальные требования проекта начинаются с 32 ГБ, но доступные варианты модели зависят от объёма RAM.
И ещё: Q2 сильно сжимает веса, поэтому скорость стоит оценивать вместе с качеством ответов на своих задачах.
Поддерживаются Windows и Linux, есть локальный API, совместимый с OpenAI и Anthropic, для подключения приложений и агентов.
https://github.com/Niko1221/Strata
Кратко (AI)
Strata позволяет локально запускать Qwen3.8-Flash-Next на обычном ПК; для RTX 5070 разработчики приводят скорости 94 токена/с при Q2_0 и 53 токена/с при IQ3_S. Проект поддерживает Windows и Linux и предоставляет локальный API, совместимый с OpenAI и Anthropic; требования начинаются с 32 ГБ RAM, а доступные варианты модели зависят от её объёма.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖