FreeToken: запуск больших MoE-моделей на обычном железе
C@campcodeAI-инженер
6 днПредставлена система FreeToken для эффективного запуска больших MoE-моделей на потребительском железе с использованием GPU, CPU и RAM.
Технология позволяет запускать мощные нейросети на домашних компьютерах без необходимости в дорогостоящих серверных видеокартах.
- Снижает порог входа для работы с тяжелыми языковыми моделями.
- Позволяет использовать доступное железо (ноутбуки, домашние ПК) для задач, ранее требовавших профессиональных GPU.
- Оптимизирует использование ресурсов системы за счет распределения нагрузки между GPU, CPU и RAM.
Ваш игровой ПК теперь может тянуть передовые модели локально — и даже без дикого квантования 😨
Исследователи представили и открыли исходный код FreeToken — это система для запуска больших MoE-моделей на обычном железе. Дело в том, что она сама по-умному распределяет вычисления между GPU, CPU и RAM.
Главное:
🟢 Qwen3.6 35B запускается на ноутбуке с RTX 4060 8GB со скоростью 39 токенов/с;
🟢 А например, DeepSeek-V4-Flash 284B — на RTX 5090, выдавать будет 22–25 токенов/с.
Используем всю мощь здесь 😎
@xor_journal
Кратко (AI)
Исследователи выпустили FreeToken, систему для локального запуска крупных MoE-моделей на потребительском оборудовании. Технология оптимизирует распределение вычислений между GPU, CPU и оперативной памятью, позволяя запускать модели вроде Qwen3.6 35B и DeepSeek-V4-Flash 284B с высокой скоростью генерации.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖