DeepSeek V4.1 Flash 1017 теперь можно запустить у себя 🐳 Unsloth сжали модель до 1 бита: вес упал с 508 ГБ до 250 ГБ, почти вдвое. По их оценке, точность при этом сохранилась на уровне около 88,2%. Для запуска нужно устройство с 128 ГБ+ оперативной памяти. Квантизованные GGUF-файлы уже лежат на Hugging Face, а в гайде от Unsloth расписано, как это всё поднять локально. В Unsloth называют V4.1 Flash 1017 сильнейшей открытой моделью на сегодня. Это их оценка, независимых замеров рядом нет, так что цифры по точности лучше проверить на своих задачах. Гайд: https://unsloth.ai/docs/models/deepseek-v4.1-flash GGUF: https://huggingface.co/unsloth/DeepSeek-V4.1-Flash-1017-GGUF

🔥 Полный гайд по локальному запуску DeepSeek на русском: от домашнего ПК до сервера с 8 GPU В открытом доступе появился репозиторий с руководством из 18 частей о том, как запустить DeepSeek V4, R1 и дистилляты у себя, без облака и интернета. Бесплатно, приватно и офлайн. Внутри весь путь: выбор модели и расчёт железа, установка и настройка Ollama, llama.cpp, LM Studio, Open WebUI, vLLM и SGLang, работа через API и Python, подключение к IDE. Дальше промптинг, ускорение, RAG, агенты и fine-tuning, а в конце топ-30 приёмов, разбор ошибок, FAQ и готовые конфиги. Для домашнего ПК основной вариант это R1-дистилляты от 1.5B до 70B. Запуск одной командой: ollama run deepseek-r1:8b. По таблицам гайда в кванте Q4 модель на 8B занимает 5-6 ГБ памяти, на 14B около 9-10 ГБ, на 32B около 20 ГБ, на 70B около 43 ГБ. Старшие модели уже про серверное железо. DeepSeek-V4-Flash на 284B параметров, из них 13B активных, с контекстом 1M требует около 103 ГБ в 3-битном кванте. DeepSeek-V4-Pro на 1.6T параметров с 49B активными нужны 800 ГБ и больше, то есть сервер с 8 GPU. Несколько практичных советов из гайда. Для русского языка брать модели от 14B, на меньших дистиллятах качество заметно проседает. Квант Q4_K_M считается стандартным выбором, а большая модель в низком кванте обычно лучше маленькой в высоком. Температура около 0.6 для R1 и 1.0 для V4. Проверять через ollama ps, что модель целиком на GPU. И не открывать порт Ollama 11434 в интернет: у API нет пароля. Репозиторий: https://github.com/justxor/deepseek-local-guide-ru

Ну че, как вам G0VNO в итоге? От себя скажу одно, я чет особо не впечатлился этими вашими локальными модельками, они как по мне абсолютно не годятся для узконаправленных задач. Их максимум это суммаризация данных, либо использование мультимодалок для перевода текста/аудио в текст. Вот вайбкодить на этом, я думаю, никакого удовольствия не будет. Хз как оно с агентами будет работать, это конечно требует больше тестов. Но тут есть НЮАНСИКИ: Во-первых, производительность, даже 100 ток\сек кажутся чудовищно медленными. Во-вторых, сайд эффекты от квантизации лупят мощно по конечному результату. Иногда модели даже жестко игнорят инструкции, и это на маленьком контексте. Под агентов нужен контекст минимум 100к, а на нем эти проблемы могут стать хуже. P.S. Все репорты на бусти залил еще с утра.

🔥 Модель на 125 млрд параметров на игровой видеокарте с 12 ГБ памяти. Strata позволяет запускать Qwen3.8-Flash-Next локально на обычном ПК. По замерам разработчиков, RTX 5070 выдаёт: • 94 токена/с с квантизацией Q2_0. • 53 токена/с с IQ3_S. Есть нюанс: тестировали на компьютере с 64 ГБ оперативной памяти. Минимальные требования проекта начинаются с 32 ГБ, но доступные варианты модели зависят от объёма RAM. И ещё: Q2 сильно сжимает веса, поэтому скорость стоит оценивать вместе с качеством ответов на своих задачах. Поддерживаются Windows и Linux, есть локальный API, совместимый с OpenAI и Anthropic, для подключения приложений и агентов. https://github.com/Niko1221/Strata

Друзья, спасибо большое всем, кто откликнулся про приватный инференс! Я писал тот пост, чтобы поделиться тем, что нашёл, а вы мне показали, что мои знания категорически отстали и авангард уже давно убежал вперёд. Вот что вы мне рассказали: Во-первых, кроме ZDR, который является юридической договорённостью, читай обещанием, есть ещё вариант с технической гарантией, что данные, которые мы отправляем, никуда не утекут. Называется это TEE — Trusted Execution Environment. Эта штука даёт криптографическую гарантию, что с сервера нам отвечает ровно та программа, которую нам обещали, без всяких дополнительных закладок и сохранения данных. Работает благодаря аппаратной поддержке на уровне процессоров Intel, AMD и NVIDIA. Исследователи регулярно находят в ней уязвимости, и я уверен, что крупную рыбу АНБ взломает в любом случае, но от массовой слежки это наверняка убережёт. Получается лучшее от двух миров: никаких капитальных затрат и при этом разумная гарантия безопасности данных, а не просто обещания. Таких провайдеров не очень много, и GLM-5.3 поддерживают ещё меньше, но есть Phala, Tinfoil и Privatemode, по цене они всего на 20–80% дороже OpenRouter ZDR. На этот вариант меня навели создатели Wisp, это как Claude Cowork, но для юристов, финансистов и всех, кто не хочет отправлять данные в публичные нейросети. Во-вторых, мы, кажется, недооценили варианты с квантизацией больших моделей и дообучением маленьких моделей на наших данных. Так, порой можно получить сравнимые результаты на радикально более слабом (и дешёвом) железе. Для своего проекта мы в результате предложили клиенту трёхэтапный план: Сначала проверяем с помощью TEE/ZDR, что это вообще работает на самых мощных моделях, выясняем границу возможного и прогаем всю обвязку. Арендуем тачку в облаке, разворачиваем там более простые модели и ищем оптимум по соотношению цены и качества. Покупаем своё железо. Ещё раз спасибо большое! Мой папа любил повторять, что лучше чувствовать себя бараном среди мудрецов, чем наоборот. Вот именно так я чувствую себя сегодня и благодарен богу, что вы есть и откликнулись!

🧪 Метод и эксперименты В данной работе фокусируются на 2-битном weight-only-сжатии ризонящих моделей. В аппендиксе есть эксперименты с FP4, со сжатием активаций и KV-кэшей. Квантизуют модели Qwen3-8B / Qwen3-32B через GPTQ. Оказывается, что квантизация сильно меняет поведение трейсов ризонинга: 🔄 Число циклов резко возрастает, особенно для меньшей модели. 📏 Многие трейсы не вписываются в заданный лимит токенов. ⚠️ Блок <think> часто оказывается незакрытым. 💡 При этом сам ответ появляется в среднем чуть ли не раньше в трейсе, но модель его не выводит. 📈 Длина ризонинга сильно увеличивается. Из этого следует, что, кроме просадки качества, мы ещё теряем в эффективности из-за того, что генерируем больше токенов. Как и в прошлой статье, замечают, что длина ризонинга у квантизованных моделей обратно коррелирует с качеством. Причина как раз в этих зацикливаниях. При этом результат сильно зависит от выбора задачи: на ризонинг-бенчмарках типа AIME / GPQA-Diamond эффект сильно заметен. На простых задачах — ARC-C, ARC-E, PIQA, WinoGrande — просадка и в 2 битах очень умеренная. Вообще, я думал, что эти бенчмарки likelihood-based и гоняются с выключенным <think>. Вводят четыре режима деградации качества: 🟢 Стабильный. Без заметной просадки. 🟡 Заметная, но умеренная просадка. Трейсы ещё не ломаются, но есть нарушения в плане фактологии и commonsense. 🟠 Значительная деградация. Генерация часто не завершается. 🔴 Полный коллапс. В первую категорию попадает Qwen3-32B на простых задачах. По мере усложнения задач и уменьшения размера модели растёт степень деградации. Дабы как-то подлечить просадку, предлагают два решения: 📝 (+P) FP16-модель пишет план, а квантизованная исполняет. Это заметно поднимает качество и правит многие ошибки ризонинга, но точность всё ещё ощутимо ниже базовой модели. 🔁 (+L) Loop Rescue. Если модель зацикливается, но выдаёт ответ, выписываем промежуточный ответ. Если ответа нет, просим FP16-модель сгенерировать его с нуля. На простых задачах смысла в этом не так много, так как и просадки, и зацикливания нет. Но на сложных задачах и ризонинг укорачивается, и качество заметно улучшается. На простых задачах end-to-end speedup с учётом длины генерации находится в районе 2×, а на сложных — несколько процентов с просадкой порядка 20% в среднем. 📌 Выводы Занятная и интересная стратегия по выправлению ризонинга. Для production-grade-системы, понятное дело, просадки качества слишком велики, но и 2-битная квантизация без свистоплясок — это действительно тяжёлый случай. Интересно было бы дообучить квантизованную модель через какой-нибудь RL с penalty на циклы.