DeepSeek V4.1 Flash 1017 ужали до 1 бита для локального запуска
M@machinelearning_interviewAI-инженер
1 нед
Сравнение Qwen 3.8: Q8_0 против FP8
Г@gmorevaAI-инженер
1 месQwen 3.8 Q8.0 против FP8
Продолжаю цепочку роликов про Qwen 3.8. Сегодня — битва двух титанов: квант Q8_0 от Unsloth (llama.cpp, 2×2080, NVLink) против официального FP8 от Qwen (vLLM, 2×3090).
Условия максимально честные: у обеих 8-битный KV-кэш (вы меня убедили отказаться от 4-битного), 200 000 контекста и самый крутой режим reasoning — X-High с неограниченным бюджетом на размышления. Никаких синтетических бенчмарков — только реальные задачи из моей работы, с одного и того же промпта, параллельно.
📹 YouTube | VK | Rutube | Dzen 📹
Unsloth добавил поддержку квантования для Qwen3.8-flash-next
D@derplearningAI-инженер
2 месНе успел выйти Qwen3.8-flash-next,
Unsloth уже грузит кванты :D
https://huggingface.co/unsloth/Qwen3.8-Flash-Next-GGUF
Unsloth AI выпустила десктоп-приложение Unsloth Desktop для локального запуска и обучения моделей
Команда популярного фреймворка Unsloth AI выпустила кроссплатформенное приложение Unsloth Desktop, которое позволяет запускать и дообучать AI-модели прямо на локальном оборудовании, без облака. Инструмент работает на Windows, macOS и Linux и поддерживает как языковые, так и диффузионные модели для генерации изображений, аудио и видео.
Приложение ориентировано на широкий спектр железа — от обычных CPU до мульти-GPU сборок NVIDIA, AMD, Intel и Apple, а также умеет подключать популярных AI-агентов к локальным LLM, что важно для разработчиков, которым нужна приватность и контроль над данными без зависимости от облачных провайдеров.
x2ускорение дообучения моделей
70%снижение потребления VRAM
Qwen выпустила веса модели-гиганта Qwen3.8-2.4T-A95B на 2,4 трлн параметров
Разработчики Qwen опубликовали на Hugging Facei открытые веса новой модели Qwen3.8-2.4T-A95Bi — с общим числом параметров 2,4 трлн. Это один из крупнейших публично доступных весовых релизов ИИ-модели на сегодня.
Сообщество уже подготовило квантованные GGUFi-версии для локального запуска (через unsloth), хотя большинство пользователей отмечают, что запустить модель такого масштаба у себя просто негде.
2,4 трлнвсего параметров модели
95Bактивных параметров (A95B)
27Bожидаемая меньшая модель
Это всё на сейчас.