DeepSeek V4.1 Flash 1017 теперь можно запустить у себя 🐳 Unsloth сжали модель до 1 бита: вес упал с 508 ГБ до 250 ГБ, почти вдвое. По их оценке, точность при этом сохранилась на уровне около 88,2%. Для запуска нужно устройство с 128 ГБ+ оперативной памяти. Квантизованные GGUF-файлы уже лежат на Hugging Face, а в гайде от Unsloth расписано, как это всё поднять локально. В Unsloth называют V4.1 Flash 1017 сильнейшей открытой моделью на сегодня. Это их оценка, независимых замеров рядом нет, так что цифры по точности лучше проверить на своих задачах. Гайд: https://unsloth.ai/docs/models/deepseek-v4.1-flash GGUF: https://huggingface.co/unsloth/DeepSeek-V4.1-Flash-1017-GGUF

🔥 Полный гайд по локальному запуску DeepSeek на русском: от домашнего ПК до сервера с 8 GPU В открытом доступе появился репозиторий с руководством из 18 частей о том, как запустить DeepSeek V4, R1 и дистилляты у себя, без облака и интернета. Бесплатно, приватно и офлайн. Внутри весь путь: выбор модели и расчёт железа, установка и настройка Ollama, llama.cpp, LM Studio, Open WebUI, vLLM и SGLang, работа через API и Python, подключение к IDE. Дальше промптинг, ускорение, RAG, агенты и fine-tuning, а в конце топ-30 приёмов, разбор ошибок, FAQ и готовые конфиги. Для домашнего ПК основной вариант это R1-дистилляты от 1.5B до 70B. Запуск одной командой: ollama run deepseek-r1:8b. По таблицам гайда в кванте Q4 модель на 8B занимает 5-6 ГБ памяти, на 14B около 9-10 ГБ, на 32B около 20 ГБ, на 70B около 43 ГБ. Старшие модели уже про серверное железо. DeepSeek-V4-Flash на 284B параметров, из них 13B активных, с контекстом 1M требует около 103 ГБ в 3-битном кванте. DeepSeek-V4-Pro на 1.6T параметров с 49B активными нужны 800 ГБ и больше, то есть сервер с 8 GPU. Несколько практичных советов из гайда. Для русского языка брать модели от 14B, на меньших дистиллятах качество заметно проседает. Квант Q4_K_M считается стандартным выбором, а большая модель в низком кванте обычно лучше маленькой в высоком. Температура около 0.6 для R1 и 1.0 для V4. Проверять через ollama ps, что модель целиком на GPU. И не открывать порт Ollama 11434 в интернет: у API нет пароля. Репозиторий: https://github.com/justxor/deepseek-local-guide-ru

🔥 Модель на 125 млрд параметров на игровой видеокарте с 12 ГБ памяти. Strata позволяет запускать Qwen3.8-Flash-Next локально на обычном ПК. По замерам разработчиков, RTX 5070 выдаёт: • 94 токена/с с квантизацией Q2_0. • 53 токена/с с IQ3_S. Есть нюанс: тестировали на компьютере с 64 ГБ оперативной памяти. Минимальные требования проекта начинаются с 32 ГБ, но доступные варианты модели зависят от объёма RAM. И ещё: Q2 сильно сжимает веса, поэтому скорость стоит оценивать вместе с качеством ответов на своих задачах. Поддерживаются Windows и Linux, есть локальный API, совместимый с OpenAI и Anthropic, для подключения приложений и агентов. https://github.com/Niko1221/Strata