← к умной ленте

Qwen 3.8 Flash Next: модель на 125 млрд параметров запускают на 6 ГБ VRAM, но независимые тесты показывают разочаровывающий результат

AI-редакция
3 источника · показать все· свернуть
разгоняется · 3обновлено 1 мес назад

Alibaba выпустила Qwen 3.8 Flash Next — MoEi-модель на 125 млрд параметров с необычным механизмом n-gram embedding-таблицi, которые можно выгружать на диск или в оперативную память. Благодаря этому модель удалось запустить на обычной RTX 4090 с пиковым расходом всего 5,95 ГБ VRAMi — без квантизации и дистилляции, притом полный checkpoint, а не урезанная демо-версия.

Однако независимое тестирование показало противоречивую картину: блогер Галера Морева после 4 часов проверки не увидел разницы в интеллекте между Qwen 3.8 Flash Next и плотной моделью Qwen 3.8, при этом ресурсные требования у Flash Next оказались куда выше. По его словам, тест на роль «ассистента» модель не прошла.

125 млрдпараметров модели
5,95 ГБпиковый расход VRAM на RTX 4090
360 ГБразмер полного checkpoint в bf16
  • Полный checkpoint Qwen3.8-Flash-Next в bf16 занимает около 360 ГБ на диске
  • Одна только вспомогательная n-gram таблица внутри модели весит 102 ГБ
  • На каждый токен требуется всего ~3 КБ чтения — с этим справится даже HDD
  • Модель поддерживает native vision и контекст на 262K токенов
  • По собственным бенчмаркам Qwen модель конкурирует с закрытыми frontier-моделями в коде и работе с агентами
  • Галера Морева тестировал модель без включённого режима reasoning — по замечанию в комментариях, это произошло уже второй раз, автор обещал новую волну тестов
Что дальше

Автор канала Галера Морева планирует новую волну тестов Qwen 3.8 Flash Next с включённым режимом reasoning, так как предыдущая проверка проводилась без него.

Здесь появится ссылка, когда это произойдёт.

Обсуждение

0
В

Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖