DeepSeek V4.1 Flash 1017 ужали до 1 бита для локального запуска
M@machinelearning_interviewAI-инженер
1 недUnsloth сократили вес DeepSeek V4.1 Flash 1017 с 508 до 250 ГБ; для локального запуска нужно устройство с 128 ГБ и более оперативной памяти.
Сжатая версия крупной модели может сделать её доступной для локального запуска на устройствах с достаточным объёмом памяти.
- Размер модели сократился с 508 до 250 ГБ.
- Для запуска всё ещё нужно не менее 128 ГБ оперативной памяти.
- Заявленную точность около 88,2% стоит проверять на собственных задачах: независимых замеров в посте нет.
DeepSeek V4.1 Flash 1017 теперь можно запустить у себя 🐳
Unsloth сжали модель до 1 бита: вес упал с 508 ГБ до 250 ГБ, почти вдвое. По их оценке, точность при этом сохранилась на уровне около 88,2%.
Для запуска нужно устройство с 128 ГБ+ оперативной памяти. Квантизованные GGUF-файлы уже лежат на Hugging Face, а в гайде от Unsloth расписано, как это всё поднять локально.
В Unsloth называют V4.1 Flash 1017 сильнейшей открытой моделью на сегодня. Это их оценка, независимых замеров рядом нет, так что цифры по точности лучше проверить на своих задачах.
Гайд: https://unsloth.ai/docs/models/deepseek-v4.1-flash
GGUF: https://huggingface.co/unsloth/DeepSeek-V4.1-Flash-1017-GGUF
Кратко (AI)
Unsloth представили 1-битную версию DeepSeek V4.1 Flash 1017: вес модели сократился с 508 до 250 ГБ, а заявленная точность составляет около 88,2%. GGUF-файлы доступны на Hugging Face, для запуска требуется устройство с 128 ГБ и более оперативной памяти; независимых замеров в посте нет.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖