Представлена мультимодальная модель MODUS
Н@GreenNeuralRobotsAI-инженер
4 недMODUS
Универсальная мультимодальная модель н абазе BAGEL-7B, может преобразовывать данные между разными типами информации без специальных модулей под каждую задачу. Работает как единый декодер для всех видов данных.
• Поддерживает последовательную генерацию - можно использовать результат как новое условие
• Самопроверяет результаты
• Работает с 16 разными типами данных: текст, изображения, глубина, сегментация, признаки объектов и др
• два эксперта: для дискретных последовательностей и для непрерывных данных
Гитхаб
HF
Демо
#multimodal #any2any