Обзор архитектурных особенностей и метрик DeepSeek-V4.1-Flash
К@quant_prune_distillAI-инженер
1 месРазбор технических аспектов обучения, мультимодальной балансировки и производительности модели DeepSeek-V4.1-Flash.
Новая модель DeepSeek показывает высокую эффективность при малых требованиях к памяти.
- Оптимизация KV-кэша позволяет модели работать быстрее и потреблять меньше оперативной памяти.
- Использование синтетических данных и RL-обучения повышает качество ответов в сложных задачах.
- Модель демонстрирует конкурентоспособность с лидерами рынка в области программирования и агентских систем.
🎭 Ещё следует отметить мультимодальную балансировку. Ибо обучаем сразу на данных как текстовой, так и картиночной/видео-природы — экспертов учат нужным образом балансировать активность.
🧪 Эксперименты
Учат всё хозяйство на 45T токенов на претрейне. ViT-модуль сначала отдельно, а потом совместно. На RL-стадии используют как реальные собранные задачи и human feedback, так и синтетические, сгенерированные самой же моделью. Разные reasoning effort учатся с разными length penalty, убывающими экспоненциально от силы effort.
Потом ещё гоняют On-Policy Distillation (OPD) поверх 40 учителей-специалистов на разных доменах.
📊 По метрикам DeepSeek-V4.1-Flash заметно опережает предшественницу, а также нередко оказывается лучше Pro-версии. На задачах по кодингу / агентским сценариям якобы тягается местами с Sol и Фаблой.
Выводы
Выдающаяся инженерная работа. Сложно сказать, всё ли это самим им пришло в голову или тут уже агенты многое додумали за них. Впечатляет фантастически малый размер KV-кэша — менее гигабайта на миллион токенов, что выглядит просто как сказка. Действительно ли этого объёма хватает на все практически интересные сценарии? Ну и модель реально быстрая.
Кратко (AI)
Автор анализирует технические детали обучения модели DeepSeek-V4.1-Flash, включая использование мультимодальной балансировки и методы дистилляции. Отмечается высокая производительность модели в задачах кодинга и агентских сценариях, а также крайне низкий объем KV-кэша.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖