AutoTrust Labs представила модель JEV-35B для быстрых решений
M@machinelearning_interviewAI-инженер
2 недAutoTrust Labs выпустила JEV-35B, MoE-модель на базе Qwen3.5, оптимизированную для быстрых решений с активацией 3B параметров из 35B.
Новый класс моделей для мгновенного принятия решений позволяет значительно ускорить работу ИИ-агентов.
- Модель JEV-35B оптимизирована для задач типа System 1, где требуется быстрый выбор из множества вариантов.
- Архитектура MoE позволяет экономить вычислительные ресурсы, активируя только малую часть параметров.
- Возможность локального запуска на одной видеокарте делает технологию доступной для корпоративных и частных решений.
JEV-35B: быстрая decision-модель на базе Qwen3.5, активирует всего 3B параметров из 35B
AutoTrust Labs выпустила JEV-35B, модель для быстрых решений в духе System 1. Она построена на Qwen3.5-35B-A3B и за счёт MoE-архитектуры активирует на токен лишь около 3B из своих 35B параметров. Лицензия Apache 2.0.
Главная идея в том, чтобы не гонять полноценное рассуждение там, где нужно просто быстро выбрать лучший вариант. За один проход модель сравнивает до 256 текстовых или графических опций и возвращает откалиброванные вероятности. Медианная задержка одиночного запроса в их тестах около 204 мс.
По метрикам JEV-35B обходит прошлую JEV-27B-VL на публичном наборе Decision Index, сохраняя при этом конкурентное качество на визуальных решениях.
Отдельно порадует возможность запустить локально. Версия в NVFP4 весит всего 25,6 ГБ и занимает под веса около 23 ГиБ, так что помещается на одну видеокарту на 32-48 ГБ. При этом квантизация сохраняет 96,6% решений исходной BF16-модели почти без потерь по скорости и с небольшой просадкой на бенчмарках.
Запускается через приложенный скрипт для vLLM. Эндпоинт /v1/decide отвечает за быстрые решения System 1, а OpenAI-совместимые эндпоинты за более медленное рассуждение System 2.
🤖 https://modelscope.ai/collections/AutoTrust-Labs/JEV-35B
Кратко (AI)
Компания AutoTrust Labs выпустила модель JEV-35B, основанную на архитектуре Qwen3.5. Модель использует MoE-подход, активируя лишь 3B параметров из 35B, что позволяет достичь высокой скорости принятия решений (около 204 мс). Модель поддерживает локальный запуск и совместима с vLLM.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖