Представлена модель Realtime-Venus с поддержкой аудио-видео дуплекса
Н@GreenNeuralRobotsAI-инженер
1 месАнонс Realtime-Venus: мультимодальная модель на базе MiniCPM-o 4.5 и Qwen3-8B с поддержкой непрерывного аудио-видео дуплекса и асинхронной делегации задач.
Новый подход к мультимодальному общению с ИИ, который позволяет модели слушать, видеть и выполнять задачи одновременно.
- Реализован полноценный дуплексный режим, где модель не прерывает диалог при выполнении фоновых задач.
- Улучшенная обработка контекста видео и аудио в реальном времени.
- Модель способна распознавать перебивания и корректировки, что делает взаимодействие более естественным.
Realtime-Venus
Полный аудио-видео дуплекс: модель слушает, пока говорит, видит аудио-видео контекст и параллельно делегирует задачи в фон, не прерывая диалог. Два чекпоинта по 9B на базе MiniCPM-o 4.5
• Omni - аудио-видео: непрерывно смотрит и слушает, сама решает, когда ответить
• Audio - голосовый диалог с речевым выводом
• асинхронная делегация - <delegate>-запросы в потоке, внешние задачи не блокируют разговор
• память длинных видео без дообучения
• различает перебивания, коррекции и редиректы
Вход: видео, аудио, текст. Выход: текст и речь. Языковая база - Qwen3-8B, контекст 40960 токенов
Гитхаб
HF
Heretic
Демо
#multimodal #duplex #realtime #dialog
Кратко (AI)
Представлена модель Realtime-Venus, обеспечивающая полноценный аудио-видео дуплекс с возможностью параллельной обработки задач. Система построена на базе MiniCPM-o 4.5 и Qwen3-8B, поддерживает работу с длинными видео без дообучения и корректно обрабатывает перебивания в диалоге.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖