Colibrì: движок для запуска огромных MoE-моделей на обычном железе
M@machinelearning_interviewAI-инженер
1 месColibrì позволяет запускать гигантские MoE-модели на обычных ПК, распределяя веса между VRAM, RAM и NVMe SSD.
Технология позволяет запускать мощные нейросети на обычном домашнем компьютере без покупки дорогостоящих видеокарт.
- Снижает порог входа для работы с тяжелыми AI-моделями.
- Позволяет использовать модели с сотнями миллиардов параметров на стандартных рабочих станциях.
- Оптимизирует использование ресурсов за счет многоуровневого хранения весов.
🦅 Colibrì - движок для запуска очень больших AI-моделей на обычных ПК и рабочих станциях, даже если модель целиком не помещается в видеопамять.
Как это работает:
MoE-модели состоят из множества «экспертов», но для каждого токена используется только небольшая их часть.
Colibrì хранит:
* самые нужные веса в VRAM;
* менее активные — в RAM;
* редко используемые - на NVMe SSD.
Когда модели нужен конкретный эксперт, движок подгружает его с диска или из RAM.
То есть для запуска условной модели на сотни миллиардов или даже триллионы параметров не обязательно иметь столько же VRAM.
Поддерживаются CPU, CUDA, Metal и смешанное размещение модели.
Проще говоря: Colibrì позволяет запускать гигантские MoE-модели локально, жертвуя в первую очередь скоростью, а не возможностью их вообще запустить.
https://github.com/JustVugg/colibri
@pythonl
Кратко (AI)
Представлен движок Colibrì, предназначенный для запуска больших MoE-моделей на потребительском оборудовании. Система динамически распределяет веса модели между видеопамятью, оперативной памятью и SSD, что позволяет использовать модели, превышающие объем доступной VRAM.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖