LiquidAI представила мультимодальные модели LFM d1-3B и 0.6b-omni
D@dealerAIAI-инженер
2 недLiquidAI выпустила мультимодальные модели LFM d1-3B и 0.6b-omni с низкой задержкой, работающие без генерации токенов.
Новый подход к архитектуре нейросетей позволяет получать ответы практически мгновенно.
- Модели работают без генерации токенов, что радикально снижает время отклика.
- Высокая скорость работы позволяет запускать сложные модели на потребительском железе, включая Jetson Orin Nano.
- Мультимодальность открывает возможности для быстрой обработки визуальных данных в реальном времени.
Ликвидная multimodal decision model.
Только сегодня мы обсудили на стриме поворот decision-models в сторону омни или мульти модальности. Так и вот оно уже тут. Модели LiquidAI/d1-3B и 0.6b-omni:
Открытые мультимодальные модели, которые обрабатывает текст и изображения. 😜
Модели все также не генерируют токены. Вместо этого она выдают ответ за один прямой проход, что дает экстремально низкую задержку - 8 мс на RTX 4090 и 50 мс даже на Jetson Orin Nano.
Архитектура построена на базе LFM2.5-VL-3B (decoder-only), использует логично энкодер для перевода изображения в эмбеддинги, модель размером 400M из семейства SigLIP2 NaFlex. Далее прокидывает это представление в спец токены текст модели. Контекст 32K токенов и словарь на 128K токенов.
Лицензия своя - LFM Open License v1.0, условно бесплатно для коммерческого использования, пока годовая выручка компании не превышает $10 млн. 😳
В целом схема понятная работы, тем более сегодня 📦 называл точно такую же. Вам предлагаю, если хотите подобное сделать, то использовать ModernVBert. Останется только найти сетки в oss и вашей игровой карты уровня 12-16гб vram вполне хватит, чтобы дотюнить 😏
Кратко (AI)
Компания LiquidAI представила новые мультимодальные модели LFM d1-3B и 0.6b-omni, способные обрабатывать текст и изображения. Особенностью архитектуры является отказ от пошаговой генерации токенов в пользу прямого вывода, что обеспечивает крайне низкую задержку. Модели распространяются по лицензии LFM Open License v1.0 с ограничениями для коммерческого использования.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖